Exacto — это вариант виртуальной модели, в котором явно применяется сортировка поставщиков по качеству. Когда вы добавляете :exacto к модели, LLMSTORE предпочитает поставщиков с более сильными сигналами качества вызова инструментов для этой модели вместо использования заказа, взвешенного по цене по умолчанию.
Использование варианта Exacto
Добавить :exacto до конца любого поддерживаемого фрагмента модели. Это ярлык для установки сортировки поставщика на Exacto для этой модели.
Вы по-прежнему можете предоставлять резервные модели с помощью models массив. Любая модель, которая
несет Суффикс :exacto будет запрашивать сортировку Exacto, когда он выбран.
Что такое точный вариант?
Exacto — это ярлык маршрутизации для качественного заказа поставщиков. В отличие от стандартной маршрутизации, которая в первую очередь отдает предпочтение поставщикам с более низкими затратами, Exacto отдает предпочтение поставщикам с более сильными сигналами для надежности вызова инструментов и отдает приоритет более слабым исполнителям.
Зачем использовать Exacto?
Почему мы это создали
Поставщики, обслуживающие одну и ту же модель, могут существенно различаться в поведении при использовании инструментов. Exacto дает вам явный способ на уровне запроса отдать предпочтение поставщикам более высокого качества, когда вас больше заботит надежность вызова инструментов, чем маршрут, взвешенный по цене по умолчанию.
Рекомендуемые случаи использования
Exacto полезен для чувствительных к качеству агентных рабочих процессов, где точность и надежность вызова инструментов имеют большее значение, чем чистая экономическая эффективность.
Как работает Exacto
Exacto использует те же сигналы ранжирования поставщиков, что и Auto Exacto, но применяет их явно, потому что вы выбрали :exacto суффикс.
Мы используем три класса сигналов:
Поставщики с хорошей репутацией перемещаются в начало списка. Провайдеры с ограниченными данными отстают от хорошо зарекомендовавших себя поставщиков, а провайдеры с сигналами низкого качества еще больше теряют приоритет.
Exacto против Auto Exacto
- Auto Exacto запускается автоматически по запросам вызова инструментов и не требует суффикса модели.
:exacto — это явный ярлык, когда вы хотите запросить режим сортировки Exacto непосредственно для конкретной пули модели.
Если вы явно сортируете по цене, пропускной способности или задержке, эта явная сортировка по-прежнему имеет приоритет.
Поддерживаемые модели
Exacto — это виртуальный вариант, не поддерживаемый отдельным пулом эндпоинтов. Его можно использовать везде, где имеет смысл сортировка поставщиков, особенно в моделях с несколькими совместимыми поставщиками.
На практике Exacto наиболее полезен на моделях, которые:
- Вызов инструментов поддержки
– наличие нескольких поставщиков в LLMSTORE.
- Показать значимые различия поставщиков в надежности использования инструментов.
