Понимание ограничений частоты вызовов
Ограничения частоты вызовов определяют количество API-запросов, которые можно выполнить за определенный период времени, и помогают оптимизировать использование API.- Предотвращают злоупотребление API и его неправильное использование
- Обеспечивают справедливое распределение ресурсов
- Поддерживают производительность и надежность API
- Защищают стабильность сервиса
Ограничения частоты вызовов по умолчанию
Для каждого аккаунта при вызове моделей действуют ограничения скорости по умолчанию, которые измеряются в RPM (количество запросов к каждой модели в минуту) и TPM (количество token для каждой модели в минуту). Ограничения скорости различаются в зависимости от уровня аккаунта; подробные критерии приведены в таблице ниже.| Уровень Quota | Критерии (единица: доллары США) |
|---|---|
| T1 | За последние 3 календарных месяца максимальная суммарная сумма пополнений за один месяц < $50 |
| T2 | $50 ≤ за последние 3 календарных месяца максимальная суммарная сумма пополнений за один месяц < $500 |
| T3 | $500 ≤ за последние 3 календарных месяца максимальная суммарная сумма пополнений за один месяц < $3000 |
| T4 | $3000 ≤ за последние 3 календарных месяца максимальная суммарная сумма пополнений за один месяц < $10000 |
| T5 | $10000 ≤ за последние 3 календарных месяца максимальная суммарная сумма пополнений за один месяц |
Как избежать срабатывания ограничений частоты вызовов
Если количество ваших API-запросов превышает ограничения частоты вызовов, API вернет:- HTTP-статус: 429 (слишком много запросов).
- В теле ответа будет возвращена информация о превышении частоты вызовов.
- Реализовать ограничение запросов в вашем приложении.
- Использовать механизм экспоненциальной задержки при повторных попытках.
- Отслеживать использование API.
Обработка ошибки 429
Если вы получили ошибку 429, вы можете попробовать следующие действия:- Повторить попытку позже: подождите некоторое время, а затем повторите запрос.
- Оптимизировать запросы: уменьшите частоту запросов.
- Повысить ограничения частоты вызовов: если вам нужны более высокие ограничения частоты вызовов, свяжитесь с нами.