平台限制

限制用于保护项目和上游渠道,具体值以控制台当前配置为准。常见维度包括 RPM(每分钟请求数)、TPM(每分钟 Token)、并发数、单请求上下文、文件大小和月度预算。

超限响应

命中速率、并发或预算限制通常返回 429 RATE_LIMITED,并可能带 Retry-After。客户端应退避,不要通过创建大量密钥绕过限制;异常流量检测可能进一步熔断项目。

设计建议

  • 将并发控制放在客户端和队列两侧,设置超时和取消。
  • 为开发、预发布、生产分别建立项目和预算。
  • 监控 P95/P99 延迟、Token 峰值和剩余预算,在高峰前调高配额。