预算、限流与配额
预算是费用上限,限流是时间窗口内的请求/Token/并发上限,配额是平台或供应商授予的总容量。三者独立生效,任一触发都可能阻止请求。
为生产项目设置月度预算、RPM/TPM 和并发上限,并为 50%、80%、100% 配置告警。收到 429 时遵循 Retry-After,不要立即无间隔重试。
预算是费用上限,限流是时间窗口内的请求/Token/并发上限,配额是平台或供应商授予的总容量。三者独立生效,任一触发都可能阻止请求。
为生产项目设置月度预算、RPM/TPM 和并发上限,并为 50%、80%、100% 配置告警。收到 429 时遵循 Retry-After,不要立即无间隔重试。