:nitro — это псевдоним для сортировки провайдеров по пропускной способности. Когда вы используете :nitro, LLMSTORE будет отдавать приоритет поставщикам с самой высокой пропускной способностью (токенов в секунду).
Использование
Добавить:nitro на любой идентификатор модели:
provider.sort чтобы "throughput" в вашем запросе. Более подробную информацию о сортировке поставщиков см. в документации по маршрутизации поставщиков.](/guides/routing/provider-selection#provider-sorting).