Ограничения

​

Проверка лимитов

type Key = {
  data: {
    label: string;
    limit: number | null; // Credit limit for the key, or null if unlimited
    limit_reset: string | null; // Type of limit reset for the key, or null if never resets
    limit_remaining: number | null; // Remaining credits for the key, or null if unlimited
    include_byok_in_limit: boolean;  // Whether to include external BYOK usage in the credit limit

    usage: number; // Number of credits used (all time)
    usage_daily: number; // Number of credits used (current UTC day)
    usage_weekly: number; // ... (current UTC week, starting Monday)
    usage_monthly: number; // ... (current UTC month)

    byok_usage: number; // Same for external BYOK usage
    byok_usage_daily: number;
    byok_usage_weekly: number;
    byok_usage_monthly: number;

    is_free_tier: boolean; // Whether the user has paid for credits before
    // rate_limit: { ... } // A deprecated object in the response, safe to ignore
  };
};

​

Кредитные лимиты

1. Баланс аккаунта — доступные вам кредиты на аккаунте. Если ваш счет имеет отрицательный кредитный баланс, вы можете увидеть ошибок, в том числе для бесплатных моделей. Добавление кредитов для увеличения баланса выше нуля позволяет вам снова использовать эти модели.
2. Кредитные лимиты на ключ — дополнительный лимит расходов, настроенный для отдельного ключа API. limit, limit_reset, и limit_remaining поля в GET /v1/key в ответе выше опишите эту шапку и сколько ее осталось.

​

Обработка ошибок 402

• Добавьте кредиты, чтобы баланс вашего счета стал выше нуля.
• Проверьте ограничения на ключ. Если limit_remaining на ключе исчерпан, увеличьте кредитный лимит ключа или дождитесь его сброса (см. limit_reset).
• Проактивно отслеживайте. Позвоните GET /v1/key , как показано выше, для отслеживания limit_remaining и использование до того, как запросы начнут терпеть неудачу.

​

Ограничения скорости

1. Ограничения на бесплатное использование: если вы используете бесплатный вариант модели (с идентификатором, заканчивающимся на ), применяются следующие ограничения:

2. Защита от DDoS: защита Cloudflare от DDoS блокирует запросы, которые значительно превышают разумное использование.

​

Обработка 429 ошибок

{
  "error": {
    "code": 429,
    "message": "Rate limit exceeded",
    "metadata": {
      "error_type": "rate_limit_exceeded"
    }
  }
}

1. LLMSTORE — вы достигли одного из вышеуказанных ограничений платформы (запросы бесплатной модели в минуту или в день или защита от DDoS).
2. Вышестоящий провайдер — провайдер, обслуживающий ваш запрос, имеет ограничение по скорости или имеет свои возможности. В этом случае error.metadata.provider_code содержит исходный код ошибки провайдера, если он доступен, и резервную маршрутизацию автоматически повторяет попытки других поставщиков той же модели, прежде чем ошибка достигнет вас. Вы также можете указать резервные модели попробовать другую модель, когда все поставщики первой исчерпаны.

• Повторить попытку с экспоненциальной задержкой. Ограничения скорости являются временными; подождите и повторите попытку, а не сразу повторите отправку. Честь Заголовок Retry-After , если он присутствует.
• В бесплатных вариантах приобретите как минимум кредитов, чтобы увеличить дневной лимит, или переключитесь на платный вариант модели, в котором нет ограничения количества запросов на уровне платформы.
• Для ограничений на стороне поставщика добавьте резервные модели или расслабьтесь настройки маршрутизации провайдера , чтобы больше поставщиков имели право обслужить запрос.

​

Ограничения скорости среднего потока

data: {"id":"cmpl-abc123","object":"chat.completion.chunk","created":1234567890,"model":"openai/gpt-4o","provider":"openai","error":{"code":429,"message":"Rate limit exceeded"},"choices":[{"index":0,"delta":{"content":""},"finish_reason":"error"}]}