Параметры запроса
Models API поддерживает параметры запроса для фильтрации возвращаемого списка моделей.output_modalities
Фильтруйте модели по их выходным возможностям. Принимает список модальностей, разделенных запятыми, или "all" , чтобы включить каждую модель независимо от типа вывода.
Примеры:
/v1/models/count эндпоинт, чтобы счетчики соответствовали результатам списка.
supported_parameters
Фильтруйте модели по поддерживаемым ими параметрам API. Например, чтобы найти модели, поддерживающие вызов инструментов:
sort
Сортировка моделей на стороне сервера перед их возвратом. Принимает одно из следующих значений:
Модели без данных для запрошенного измерения сортировки (например, без цен, без эвристики пропускной способности) сортируются последними. Пропуск
sort сохраняет порядок по умолчанию (обратно совместим).
Поиск одной модели
Найдите полную информацию об одной модели, не получая весь список:anthropic/claude-3-5-sonnet перенаправляет на канонический anthropic/claude-3.5-sonnet и возвращает свои данные.
Также поддерживаются варианты суффиксов — добавьте :free, :thinkingи т. д. до слага:
404 , если модель не существует и не является псевдонимом другой модели. Форма ответа оборачивает тот же объект модели, который используется в эндпоинту списка:
Стандарт API моделей
Наш API моделей делает самую важную информацию обо всех LLM бесплатными, как только мы ее подтвердим.Схема ответа API
Models API возвращает стандартизированный формат ответа JSON, который предоставляет полные метаданные для каждой доступной модели. Эта схема кэшируется на периферии и предназначена для надежной интеграции с производственными приложениями.Корневой объект ответа
Нумерация страниц
Эндпоинт списка поддерживает необязательныеoffset и Параметры limit параметры запроса. Разбиение на страницы является добровольным: если оба параметра опущены, возвращается полный список и links.next это null. Когда вы разбиваетесь на страницы, limit по умолчанию равно 500 (максимум 1000), и links.next содержит готовый URL следующей страницы (или null на последней странице):
Схема объекта модели
Каждая модель в Массивdata содержит следующие стандартизированные поля:
Архитектурный объект
Объект ценообразования
Все цены указаны в долларах США за токен/запрос/единицу. Значение"0" указывает, что функция бесплатна.
Изменение цен
Некоторые эндпоинты взимают разные тарифы при определенных условиях — например, цены за длительный контекст, когда запросы, превышающие порог токена, стоят дороже, или цены на основе времени, когда в часы пик ставки выше. Они появляются в дополнительныхpricing.overrides массив:
overrides содержит условные исключения.
Например, модель, которая обычно взимает 2,50 доллара США за миллион входных токенов и 5 долларов США за миллион сверх 200 тысяч токенов подсказки:
overrides всегда перечислены все окна (пиковые и внепиковые), охватывающие весь 24-часовой день, поэтому полное расписание можно восстановить независимо от того, когда был сгенерирован ответ. Например, модель, которая взимает половину цены с 16:30 до 00:30 UTC:
Объект верхнего поставщика
Объект тестов производительности
Присутствует только на моделях, прошедших сторонние тесты. На данный момент включает в себя Design Arena Рейтинг .benchmarks поле целиком.
Поддерживаемые параметры Массив
Объектsupported_parameters указывает, какие OpenAI-совместимые параметры работают с каждой моделью:
tools- Возможности вызова функцийtool_choice- Управление выбором инструментаmax_tokens- Ограничение длины ответаtemperature- Контроль случайностиtop_p- Выборка ядерreasoning- Режим внутреннего рассужденияinclude_reasoning- Включите в ответ аргументациюstructured_outputs- Применение схемы JSONresponse_format- Спецификация формата выводаstop- Пользовательские последовательности остановокfrequency_penalty- Сокращение повторенийpresence_penalty- Разнообразие темseed- Детерминированные выходные данные
Различные модели токенизируют текст по-разномуНекоторые модели разбивают текст на фрагменты из нескольких символов (GPT, Claude,
Llama и т. д.), а другие токенизируют по символам (PaLM). Это означает, что токен
количество (и, следовательно, стоимость) будет различаться в зависимости от модели, даже если входные данные и
выходные данные одинаковы. Затраты отображаются и оплачиваются в соответствии с
токенизатор для используемой модели. Вы можете использовать
usage в ответе
, чтобы получить количество токенов для ввода и вывода.