Справочник API

// Определения подтипов приведены ниже
type Request = {
  // Обязательно одно из: "messages" или "prompt"
  messages?: Message[];
  prompt?: string;

  // Если "model" не указана, используется модель по умолчанию
  model?: string; // См. раздел "Поддерживаемые модели"

  // Позволяет принудить модель к определённому формату вывода.
  // См. раздел "Структурированные ответы" ниже; какие модели это
  // поддерживают — смотрите в каталоге моделей.
  response_format?: ResponseFormat;

  stop?: string | string[];
  stream?: boolean; // Включить стриминг

  // Плагины, расширяющие возможности модели (PDF-парсинг, починка ответов)
  // См. раздел "Плагины": /guides/features/plugins
  plugins?: Plugin[];

  // См. параметры LLM (/api_reference/parameters)
  max_tokens?: number; // Диапазон: [1, context_length)
  temperature?: number; // Диапазон: [0, 2]

  // Вызов инструментов
  // Передаётся как есть провайдерам, реализующим интерфейс OpenAI.
  // Для провайдеров с собственным интерфейсом мы трансформируем и
  // маппим свойства. Иначе инструменты преобразуются в YAML-шаблон.
  // Модель отвечает сообщением ассистента.
  tools?: Tool[];
  tool_choice?: ToolChoice;

  // Продвинутые необязательные параметры
  seed?: number; // Только целое
  top_p?: number; // Диапазон: (0, 1]
  top_k?: number; // Диапазон: [1, Infinity). Недоступно для моделей OpenAI
  frequency_penalty?: number; // Диапазон: [-2, 2]
  presence_penalty?: number; // Диапазон: [-2, 2]
  repetition_penalty?: number; // Диапазон: (0, 2]
  logit_bias?: { [key: number]: number };
  top_logprobs: number; // Только целое
  min_p?: number; // Диапазон: [0, 1]
  top_a?: number; // Диапазон: [0, 1]

  // Снижение задержки: передача модели предсказанного вывода
  // https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
  prediction?: { type: 'content'; content: string };

  // Параметры, специфичные для LLMSTORE
  // См. раздел "Роутинг моделей": /guides/routing/model-fallbacks
  models?: string[];
  route?: 'fallback';
  // См. раздел "Выбор провайдера": /guides/routing/provider-selection
  provider?: ProviderPreferences;
  user?: string; // Стабильный идентификатор вашего конечного пользователя. Помогает выявлять и предотвращать злоупотребления.

  // Опции отладки (только стриминг)
  debug?: {
    echo_upstream_body?: boolean; // Если true — возвращает трансформированное тело запроса, отправленное провайдеру
  };
};

// Подтипы:

type TextContent = {
  type: 'text';
  text: string;
};

type ImageContentPart = {
  type: 'image_url';
  image_url: {
    url: string; // URL или изображение в base64
    detail?: string; // Необязательно, по умолчанию "auto"
  };
};

type ContentPart = TextContent | ImageContentPart;

type Message =
  | {
      role: 'user' | 'assistant' | 'system';
      // ContentParts — только для роли "user":
      content: string | ContentPart[];
      // Если указано "name", для моделей не-OpenAI оно
      // подставляется в начало так: `{name}: {content}`
      name?: string;
    }
  | {
      role: 'tool';
      content: string;
      tool_call_id: string;
      name?: string;
    };

type FunctionDescription = {
  description?: string;
  name: string;
  parameters: object; // Объект JSON Schema
};

type Tool = {
  type: 'function';
  function: FunctionDescription;
};

type ToolChoice =
  | 'none'
  | 'auto'
  | {
      type: 'function';
      function: {
        name: string;
      };
    };

// Формат ответа для структурированных ответов
type ResponseFormat =
  | { type: 'json_object' }
  | {
      type: 'json_schema';
      json_schema: {
        name: string;
        strict?: boolean;
        schema: object; // Объект JSON Schema
      };
    };

// Конфигурация плагина
type Plugin = {
  id: string; // 'web', 'file-parser', 'response-healing', 'context-compression'
  enabled?: boolean;
  // Дополнительные опции конкретного плагина
  [key: string]: unknown;
};