Плагины LLMSTORE расширяют возможности любой модели путем внедрения или изменения запроса или ответа для добавления таких функций, как обработка PDF-файлов, автоматическое восстановление JSON и сжатие контекста. Плагины всегда запускаются ровно один раз на запрос, если они включены. Плагины можно включить для каждого запроса через API или настроить по умолчанию для всех ваших запросов API через страницу настроек плагинов.

Доступные плагины

LLMSTORE в настоящее время поддерживает следующие плагины:

Включение плагинов через API

Плагины включаются добавлением Массив plugins для вашего запроса на завершение чата. Каждый плагин идентифицируется своим id и может включать дополнительные параметры конфигурации.

Использование нескольких плагинов

Вы можете включить несколько плагинов одним запросом:

Настройки плагина по умолчанию

Администраторы организации и отдельные пользователи могут настраивать параметры плагина по умолчанию, которые применяются ко всем запросам API. Это полезно для:
  • Включение плагинов, таких как веб-поиск или исправление ответов, по умолчанию для всех запросов.
  • Установка согласованных конфигураций плагинов без изменения кода приложения.
  • Принудительные настройки плагина, которые не могут быть изменены отдельными запросами.
Чтобы настроить параметры плагина по умолчанию:
  1. Перейдите в Настройки > Плагины
  2. Включите/выключите плагины, чтобы включить их по умолчанию.
  3. Нажмите кнопку «Настроить», чтобы настроить параметры плагина.
  4. При желании включите «Запретить переопределения», чтобы применить настройки ко всем запросам.
В организациях страница настроек плагинов доступна только администраторам.
Когда для плагина включена функция «Предотвратить переопределения», отдельные запросы API не могут отключить или изменить конфигурацию этого плагина. Это полезно для обеспечения соблюдения политик всей организации.

Приоритет плагинов

Настройки плагина применяются в следующем порядке приоритета:
  1. Настройки на уровне запроса: настройки плагина в plugins массив индивидуальных запросов
  2. Настройки учетной записи по умолчанию: настройки, настроенные на странице настроек плагинов.
Если плагин включен в настройках вашей учетной записи по умолчанию, но не указан в запросе, будет применена конфигурация по умолчанию. Если вы укажете плагин в своем запросе, эти настройки переопределят значения по умолчанию. Если вы хотите, чтобы настройки учетной записи имели приоритет, включите «Запретить переопределение» в конфигурации плагина. Тогда поколениям будет невозможно переопределить конфигурацию.

Отключение плагина по умолчанию

Если плагин включен по умолчанию в настройках вашей учетной записи, вы можете отключить его для конкретного запроса, передав "enabled": false в массиве плагинов:
Это отключит плагин веб-поиска для этого конкретного запроса, даже если он включен в настройках вашей учетной записи по умолчанию.

Варианты модели как ярлыки плагинов Вариант

Некоторые плагины имеют удобные ярлыки для вариантов модели. Например, добавив :online к любому идентификатору модели включает поиск в Интернете:
Это эквивалентно:
См. Варианты модели для получения дополнительной информации о доступных ярлыках.