平台限制
限制用于保护项目和上游渠道,具体值以控制台当前配置为准。常见维度包括 RPM(每分钟请求数)、TPM(每分钟 Token)、并发数、单请求上下文、文件大小和月度预算。
超限响应
命中速率、并发或预算限制通常返回 429 RATE_LIMITED,并可能带 Retry-After。客户端应退避,不要通过创建大量密钥绕过限制;异常流量检测可能进一步熔断项目。
设计建议
- 将并发控制放在客户端和队列两侧,设置超时和取消。
- 为开发、预发布、生产分别建立项目和预算。
- 监控 P95/P99 延迟、Token 峰值和剩余预算,在高峰前调高配额。