路由策略选择指南
策略不是“哪个最好”，而是把业务目标转成可计算的权重。先定义主要指标，再设置预算和保护阈值。
| 业务场景 | 推荐策略 | 原因 |
|---|---|---|
| 在线客服、代码补全 | 速度优先 | 优先降低 TTFT 和端到端延迟 |
| 离线摘要、批量分类 | 价格优先 | 在可接受延迟内降低 Token 成本 |
| 核心交易、生产代理 | 可用性优先 | 牺牲少量成本换取更低失败率 |
| 指标尚未稳定 | 均衡模式 | 在成本、速度和成功率间平滑分配 |
选择步骤
- 写下 SLO，例如“P95 TTFT < 800 ms，成功率 > 99.5%”。
- 为项目设置最大预算、并发和单请求超时，避免策略优化掩盖资源失控。
- 先以均衡模式运行，比较各渠道至少 100 个同类请求的指标。
- 切换策略后观察 24 小时，并在异常告警中确认是否出现重试风暴。
何时固定供应商
合规区域、专属合同或需要供应商特有能力时，可以限制候选渠道。固定渠道会失去自动故障转移能力，建议同时配置一个协议和能力完全兼容的备用渠道。