LLMSTORE разработан с учетом производительности как главного приоритета. LLMSTORE сильно оптимизирован, чтобы максимально уменьшить задержку ваших запросов.

​
Минимальные накладные расходы

LLMSTORE спроектирован так, чтобы обеспечить минимальную задержку для ваших запросов. Это достигается за счет:
  • Периферийные вычисления с использованием Cloudflare Workers, чтобы оставаться как можно ближе к вашему приложению.
  • Эффективное кэширование данных пользователя и ключей API на периферии.
  • Оптимизированная логика маршрутизации, минимизирующая время обработки.

​
Вопросы производительности

​
Потепление кэша

Когда пограничные кэши LLMSTORE холодные (обычно в течение первых 1–2 минут работы в новом регионе), вы можете столкнуться с немного большей задержкой по мере прогрева кэшей. Это нормализуется после заполнения кешей.

​
Проверка кредитного баланса

Для обеспечения точного выставления счетов и предотвращения перерасхода средств LLMSTORE выполняет дополнительные проверки базы данных, когда:
  • Кредитный баланс пользователя низкий (однозначные доллары)
  • Ключ API приближается к настроенному кредитному лимиту.
В этих условиях LLMSTORE более агрессивно истощает кэши, чтобы обеспечить правильное выставление счетов, что увеличивает задержку до тех пор, пока не будут добавлены дополнительные кредиты.

​
Резервная модель

При использовании фолбэков моделей или маршрутизации провайдеров, если основная модель или провайдер выйдет из строя, LLMSTORE автоматически попробует следующий вариант. Неудивительно, что неудачное первоначальное завершение увеличивает задержку для конкретного запроса. LLMSTORE отслеживает сбои поставщиков и пытается разумно обойти недоступных поставщиков, чтобы эта задержка не возникала при каждом запросе.

​
Лучшие практики

Для достижения оптимальной производительности с LLMSTORE:
  1. Поддерживайте здоровый кредитный баланс
    • Настройка автопополнения с более высоким порогом и суммой
    • Это помогает избежать принудительных проверок кредитоспособности и снижает риск достижения нулевого баланса.
    • Рекомендуемый минимальный баланс: 10-20 долларов США для обеспечения бесперебойной работы.
  2. Использовать настройки провайдера
    • Если у вас есть особые требования к задержке (время до первого токена или время до последнего), существуют маршрутизация поставщика функции, которые помогут вам достичь поставленных целей по производительности и затратам.