Кэширование подсказок

​

Привязка маршрутизации поставщика

• После запроса, использующего оперативное кэширование, LLMSTORE запоминает, какой поставщик обслужил ваш запрос.
• Последующие запросы для одной и той же модели направляются к одному и тому же провайдеру, сохраняя при этом ваш кеш.
• Прикрепленная маршрутизация активируется только в том случае, если цена чтения кэша поставщика ниже, чем обычная цена быстрого запроса, что гарантирует вам всегда выгоду от экономии средств.
• Если прикрепленный поставщик становится недоступным, LLMSTORE автоматически переключается на следующего лучшего поставщика.
• Привязка маршрутизации не используется при указании ручного заказа провайдера через provider.order — в этом случае ваш явный заказ имеет приоритет.

​

Использование session_id за липкие сеансы

• Тело запроса: Включить session_id в качестве поля верхнего уровня в теле вашего запроса. Если указаны оба значения, значение body имеет приоритет.
• Заголовок: установите x-session-id HTTP-заголовок.

{
  "model": "anthropic/claude-sonnet-4",
  "session_id": "my-agent-session-abc123",
  "messages": [
    {
      "role": "user",
      "content": "Continue our conversation..."
    }
  ]
}

​

Группировка запросов по модальностям

• Чат и ответы: отправить session_id в теле запроса или x-session-id заголовок.
• Встраивание, изменение ранжирования, преобразование речи в текст, преобразование текста в речь, создание изображений и видео: отправьте x-session-id заголовок. Эти эндпоинты не принимают тело session_id. Они используют это значение только для группировки, поэтому к ним не применяется липкая маршрутизация.

​

Проверка использования кэша

1. Нажмите кнопку подробностей на вкладке Активность страница
2. Используйте /v1/generation API, описано здесь
3. Проверьте prompt_tokens_details объект в ответе usage включается в каждый ответ API Поле

​

Поля объекта использования

{
  "usage": {
    "prompt_tokens": 10339,
    "completion_tokens": 60,
    "total_tokens": 10399,
    "prompt_tokens_details": {
      "cached_tokens": 10318,
      "cache_write_tokens": 0
    }
  }
}

• cached_tokens: Количество токенов, прочитанных из кэша (попадание в кэш). Когда это значение больше нуля, вы получаете выгоду от кэшированного контента.
• cache_write_tokens: Количество токенов, записанных в кэш. Это появляется при первом запросе при создании новой записи в кэше.

​

OpenAI

• Кэш записывает: на моделях до семейства GPT-5.6 плата не взимается. GPT-5.6 и более поздние версии записывают в кеш расходов стоимость, в 1,25 раза превышающую первоначальную входную цену, даже при автоматическом кэшировании — согласие не требуется.
• Чтение кэша: (в зависимости от модели) взимается 0,25- или 0,50-кратная стоимость исходной входной цены.

​

Явное кэширование подсказок

• Запись в кэш: взимается в 1,25 раза больше исходной цены ввода (такая же ставка, как и при автоматической записи в кэш в GPT-5.6 и более поздних версиях).
• Чтение кэша: взимается плата по сниженной скорости чтения кэша модели, так же, как и при автоматическом кэшировании.

• prompt_cache_breakpoint: размещается в отдельном блоке текстового контента (input_text в ответах, text в завершениях чата), чтобы отметить конец многоразового префикса. Все, что проходит через этот блок, становится префиксом-кандидатом в кэше. Автоматическое кэширование остается включенным.
• prompt_cache_options: размещается в корне запроса. Настройка mode чтобы "explicit" отключает точки останова, управляемые OpenAI, поэтому только блоки, отмеченные значком prompt_cache_breakpoint участвовать в кэшировании. Использование ttl для запроса продолжительности кэширования (например, "30m").

{
  "model": "openai/...",
  "prompt_cache_key": "my-session-key",
  "prompt_cache_options": {
    "mode": "explicit",
    "ttl": "30m"
  },
  "input": [
    {
      "role": "user",
      "content": [
        {
          "type": "input_text",
          "text": "<REUSABLE_PREFIX>",
          "prompt_cache_breakpoint": {
            "mode": "explicit"
          }
        },
        {
          "type": "input_text",
          "text": "<TASK_SPECIFIC_SUFFIX>"
        }
      ]
    }
  ]
}

{
  "model": "openai/...",
  "prompt_cache_key": "my-session-key",
  "prompt_cache_options": {
    "mode": "explicit",
    "ttl": "30m"
  },
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "<REUSABLE_PREFIX>",
          "prompt_cache_breakpoint": {
            "mode": "explicit"
          }
        },
        {
          "type": "text",
          "text": "<TASK_SPECIFIC_SUFFIX>"
        }
      ]
    }
  ]
}

​

Грок

• Запись в кэш: бесплатно
• Чтение кэша: взимается плата в размере x от исходной цены ввода.

​

Лунный ИИ

• Запись в кэш: бесплатно
• Чтение кэша: взимается плата в размере x от исходной цены ввода.

​

Грок

• Запись в кэш: бесплатно
• Чтение кэша: взимается плата в размере x от исходной цены ввода.

​

Алибаба Квен

• Запись в кэш: взимается плата в размере x от стоимости первоначальная цена входных данных
• Чтение кэша: взимается плата в размере x от стоимости первоначальная цена входных данных

​

Пример

{
  "model": "qwen/qwen3-coder-plus",
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "Use the reference below when answering."
        },
        {
          "type": "text",
          "text": "HUGE TEXT BODY",
          "cache_control": {
            "type": "ephemeral"
          }
        },
        {
          "type": "text",
          "text": "Summarize the main implementation details."
        }
      ]
    }
  ]
}

​

Anthropic Claude

• Запись в кэш (5-минутный TTL): взимается плата в x от исходной цены ввода.
• Запись в кэш (время жизни 1 час): плата взимается в 2 раза дороже исходной цены ввода.
• Чтение кэша: взимается плата в размере x от исходной цены ввода.

• Автоматическое кеширование: добавьте один Поле cache_control на верхнем уровне вашего запроса. Система автоматически применяет точку останова кеширования к последнему кэшируемому блоку и продвигает ее вперед по мере роста диалогов. Лучше всего подходит для многоходовых разговоров.
• Явные точки останова в кэше: Разместить cache_control непосредственно на отдельных блоках контента для детального контроля над тем, что именно кэшируется. Существует ограничение на четыре явных точки останова. Рекомендуется зарезервировать точки останова кэша для больших объемов текста, таких как карточки персонажей, данные CSV, данные RAG, главы книг и т. д.

​

Минимальные требования к токенам

• 4096 токенов: Клод Опус 4.8, Клод Опус 4.7, Клод Опус 4.6, Клод Опус 4.5, Клод Хайку 4.5
• 2048 токенов: Клод Хайку 3.5
• 1024 токена: Клод Сонет 4.6, Клод Сонет 4.5, Клод Опус 4.1, Клод Опус 4, Клод Сонет 4

​

Параметры TTL кэша

• 5 минут (по умолчанию): "cache_control": { "type": "ephemeral" }
• 1 час: "cache_control": { "type": "ephemeral", "ttl": "1h" }

​

Кэширование в пакетном API

​

Примеры

​

Автоматическое кэширование (рекомендуется для многоходовых разговоров)

{
  "model": "~anthropic/claude-sonnet-latest",
  "cache_control": { "type": "ephemeral" },
  "messages": [
    {
      "role": "system",
      "content": "You are a historian studying the fall of the Roman Empire. You know the following book very well: HUGE TEXT BODY"
    },
    {
      "role": "user",
      "content": "What triggered the collapse?"
    }
  ]
}

{
  "model": "~anthropic/claude-sonnet-latest",
  "cache_control": { "type": "ephemeral", "ttl": "1h" },
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": "What is the meaning of life?"
    }
  ]
}

​

Явные точки останова в кэше (детальный контроль)

{
  "messages": [
    {
      "role": "system",
      "content": [
        {
          "type": "text",
          "text": "You are a historian studying the fall of the Roman Empire. You know the following book very well:"
        },
        {
          "type": "text",
          "text": "HUGE TEXT BODY",
          "cache_control": {
            "type": "ephemeral"
          }
        }
      ]
    },
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What triggered the collapse?"
        }
      ]
    }
  ]
}

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "Given the book below:"
        },
        {
          "type": "text",
          "text": "HUGE TEXT BODY",
          "cache_control": {
            "type": "ephemeral",
            "ttl": "1h"
          }
        },
        {
          "type": "text",
          "text": "Name all the characters in the above book"
        }
      ]
    }
  ]
}

​

DeepSeek

• Запись в кэш: взимается та же цена, что и исходная цена ввода.
• Чтение кэша: взимается плата в размере x от исходной цены ввода.

​

З.АИ

• Запись в кэш: бесплатно (в настоящее время Z.AI указывает кэшированное хранилище входных данных как бесплатное ограниченное время)
• Чтение кэша: взимается плата по сниженной цене ввода в кэш, указанной на каждой странице модели (обычно примерно в 0,2 раза превышает первоначальную цену ввода).

​

Google Близнецы

​

Неявное кэширование

• Никаких затрат на запись и хранение в кэше. – за кэшированные токены взимается плата в размере x от исходной стоимости входных токенов.

​

Изменения цен на кэшированные запросы:

• Запись в кэш: взимается по стоимости входного токена плюс 5 минут хранения в кэше, рассчитывается следующим образом:

Cache write cost = Input token price + (Cache storage price × (5 minutes / 60 minutes))

• Чтение кэша: взимается плата в размере × исходной стоимости входного токена.

​

Поддерживаемые модели и ограничения:

​

Как работает кэширование подсказок Gemini в LLMSTORE:

• Вам не нужно вручную создавать, обновлять или удалять кэши.
• Вам не нужно явно управлять именами кэшей или TTL.

​

Как включить кэширование подсказок Gemini:

​

Примеры:

​

Пример кэширования системных сообщений

{
  "messages": [
    {
      "role": "system",
      "content": [
        {
          "type": "text",
          "text": "You are a historian studying the fall of the Roman Empire. Below is an extensive reference book:"
        },
        {
          "type": "text",
          "text": "HUGE TEXT BODY HERE",
          "cache_control": {
            "type": "ephemeral"
          }
        }
      ]
    },
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What triggered the collapse?"
        }
      ]
    }
  ]
}

​

Пример кэширования сообщений пользователя

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "Based on the book text below:"
        },
        {
          "type": "text",
          "text": "HUGE TEXT BODY HERE",
          "cache_control": {
            "type": "ephemeral"
          }
        },
        {
          "type": "text",
          "text": "List all main characters mentioned in the text above."
        }
      ]
    }
  ]
}