POST
Создать сообщение

Authorizations

Authorization
string
header
required

API-ключ в качестве токена носителя в заголовке авторизации

Headers

X-LLMSTORE-Metadata
enum<string>

Дайте согласие на отображение метаданных маршрутизации в ответе в разделе llmstore_metadata. По умолчанию отключено. Устаревший заголовок X-LLMSTORE-Experimental-Metadata также принимается для обратной совместимости. Уровень согласия для отображения метаданных маршрутизации в ответе в разделе llmstore_metadata.

Available options:
disabled,
enabled
Example:

"enabled"

Body

application/json

Схема запроса для эндпоинта API Anthropic Messages

messages
object[] | null
required
model
string
required
cache_control
object

Включите автоматическое кэширование подсказок. Если установлено на верхнем уровне, система автоматически применяет точки останова кэша к последнему кэшируемому блоку в запросе. Если он установлен для отдельного блока контента, он отмечает явную точку останова в кэше; Токены уровня блоков также работают с моделями OpenAI, которые поддерживают явное кэширование подсказок — LLMSTORE преобразует их в собственный формат провайдера.

Example:
context_management
object | null
fallbacks
object[] | null

Резервные модели, которые можно попробовать в случае сбоя или отказа основной модели, по порядку. Управляется многомодельной маршрутизацией LLMSTORE, а не резервными средствами Anthropic на стороне сервера; не могут быть объединены с моделями. Каждая запись принимает только «модель». Максимум 3 записи.

Example:
max_tokens
integer
metadata
object
models
string[]
output_config
object

Конфигурация для управления поведением вывода. Поддерживает параметр усилий и формат структурированного вывода.

Example:
plugins
object[]

Плагины, которые вы хотите включить для этого запроса, включая их настройки.

Example:
provider
object | null

Если доступно несколько поставщиков моделей, при необходимости укажите предпочтения маршрутизации.

Example:
route
enum<string> | null
deprecated

УСТАРЕЛО Вместо этого используйте parts.sort.partition. Обратно совместимый псевдоним дляпровайдеров.sort.partition. Принимает устаревшие значения: «резервный» (сопоставляется с «моделью»), «сортировка» (сопоставляется с «нет»).

Available options:
fallback,
sort,
null
Example:

"fallback"

service_tier
string
session_id
string

Уникальный идентификатор для группировки связанных запросов (например, разговора или рабочего процесса агента). Если он предоставлен, LLMSTORE использует его в качестве липкого ключа маршрутизации, направляя все запросы в сеансе к одному и тому же поставщику, чтобы максимизировать попадание в кэш запросов. Также используется для группировки наблюдаемости. Если оно указано как в теле запроса, так и в заголовке x-session-id, значение body имеет приоритет. Максимум 256 символов.

Maximum string length: 256
speed
enum<string> | null

Управляет скоростью генерации выходных данных. Если установлено значение «быстро», используется более высокоскоростная конфигурация вывода по более высокой цене. По умолчанию используется значение «стандарт», если оно опущено.

Available options:
fast,
standard,
null
Example:

"fast"

stop_sequences
string[]
stop_server_tools_when
object[]

Условия остановки цикла агента серверного инструмента. Любое срабатывание условия останавливает цикл (логика ИЛИ). Если установлено, это переопределяет max_tool_calls. Когда условие срабатывает, пока модель все еще генерирует вызовы инструментов, ожидающие вызовы инструментов выполняются, и выполняется последний поворот с отключенными вызовами инструментов, поэтому ответ заканчивается ответом на естественном языке вместо незавершенного вызова инструмента.

Minimum array length: 1

Единственное условие, при выполнении которого цикл агента серверного инструмента останавливается.

Example:
Example:
stream
boolean
system
temperature
number<double>
thinking
object
tool_choice
object
tools
object[]
top_k
integer
top_p
number<double>
trace
object

Метаданные для наблюдения и отслеживания. Известные ключи (trace_id, Trace_name, Span_Name, Generation_Name, Parent_span_id) имеют специальную обработку. Дополнительные ключи передаются в виде пользовательских метаданных в настроенные пункты назначения широковещательной передачи.

Example:
user
string

Уникальный идентификатор, представляющий вашего конечного пользователя, который помогает различать разных пользователей вашего приложения. Это позволяет вашему приложению идентифицировать конкретных пользователей в случае сообщений о злоупотреблениях, предотвращая влияние действий отдельных пользователей на все ваше приложение. Максимум 256 символов.

Maximum string length: 256

Response

Успешный ответ

Непотоковый ответ от API Anthropic Messages с расширениями LLMSTORE

container
object | null
required
Example:
content
object[]
required
Example:
id
string
required
model
string
required
role
enum<string>
required
Available options:
assistant
stop_details
object | null
required

Структурированная информация об отказе

Example:
stop_reason
enum<string> | null
required
Available options:
end_turn,
max_tokens,
model_context_window_exceeded,
stop_sequence,
tool_use,
pause_turn,
refusal,
compaction,
null
Example:

"end_turn"

stop_sequence
string | null
required
type
enum<string>
required
Available options:
message
usage
object
required
Example:
context_management
object | null
llmstore_metadata
object
Example:
provider
enum<string>
Available options:
Modal,
AkashML,
AI21,
AionLabs,
Alibaba,
Ambient,
Baidu,
Amazon Bedrock,
Amazon Nova,
Anthropic,
Arcee AI,
AtlasCloud,
Avian,
Azure,
BaseTen,
BytePlus,
Black Forest Labs,
Cerebras,
Chutes,
Cirrascale,
Claude Platform on AWS,
Clarifai,
Cloudflare,
Cohere,
CoreWeave,
Crucible,
Crusoe,
Darkbloom,
Decart,
Deepgram,
DeepInfra,
DeepSeek,
DekaLLM,
DigitalOcean,
Featherless,
Fireworks,
Fish Audio,
Friendli,
GMICloud,
Google,
Google AI Studio,
Groq,
HeyGen,
Inception,
Inceptron,
InferenceNet,
Ionstream,
Infermatic,
Io Net,
Inferact vLLM,
Inflection,
Liquid,
Mara,
Mancer 2,
Meta,
Minimax,
ModelRun,
Mistral,
Modular,
Moonshot AI,
Morph,
VoyageAI by MongoDB,
NCompass,
Nebius,
Nex AGI,
NextBit,
Novita,
Nvidia,
OpenAI,
OpenInference,
Parasail,
Poolside,
Perceptron,
Perplexity,
Phala,
Recraft,
Reka,
Relace,
Sail Research,
Sakana AI,
SambaNova,
Seed,
SiliconFlow,
Sourceful,
StepFun,
Stealth,
StreamLake,
Switchpoint,
Tencent,
Tenstorrent,
Thinking Machines,
Together,
Upstage,
Venice,
Wafer,
WandB,
Quiver,
Krea,
Runway,
Xiaomi,
xAI,
Z.AI,
FakeProvider
Example:

"OpenAI"