LLMSTORE обеспечивает страхование нулевого завершения, чтобы защитить пользователей от платы за неудавшиеся или пустые ответы. Если ответ не содержит выходных токенов и имеет пустую причину завершения или ошибку, с вас не будет взиматься плата за использование токена модели, даже если базовый поставщик взимает плату за быструю обработку.
Страхование нулевого завершения автоматически включается для всех учетных записей и не требует настройки.

​
Как это работает

Страхование нулевого завершения автоматически применяется ко всем запросам всех моделей и поставщиков. Если ответ соответствует любому из этих условий, баллы за токены подсказки, завершения или рассуждения модели не вычитаются: — ответ имеет нулевые токены завершения И пустую/нулевую причину завершения.
  • В ответе указана причина завершения из-за ошибки.

​
Что покрывается

Страхование нулевого завершения покрывает стоимость вывода модели: токены подсказки, токены завершения и токены рассуждения не выставляются в счет, когда ответ соответствует требованиям. Для запросов преобразования текста в речь пригодный для использования вывод означает, что поток ответа доставил звук, соответствующий формату: по крайней мере, один полный кадр MPEG для MP3 или один полный образец для PCM. Пустые, недействительные и усеченные выходные данные не оплачиваются. Запросы с оплатой за символы оплачиваются за полный ввод после доставки пригодного для использования аудио, в том числе при отмене клиентом после получения частичного аудио. Он не покрывает расходы на вспомогательные службы, которые уже работали до сбоя ответа. Работа выполнена интернет-поиск (например, плата за поиск по запросу), синтаксический анализ файлов/распознавание PDF-файлов и веб-загрузка могут по-прежнему взиматься на основе фактически выполненной работы, даже если впоследствии ответ модели заканчивается ошибкой. (В некоторых случаях сбоя — например, сбоя восходящего потока, при котором токены вообще не производятся — эти расходы также пропускаются.) При выставлении счета эти расходы отображаются в разбивке использования запроса.

​
Просмотр защищенных запросов

На вашей странице активности запросы, защищенные страховкой нулевого завершения, будут отображать нулевые кредиты, вычтенные за использование токена. Это применимо даже в тех случаях, когда поставщик LLMSTORE мог взимать плату за быструю обработку. Если защищенный запрос также использовал вспомогательные службы, такие как веб-поиск или анализ файлов, вычитается только плата за эти услуги.