价格优先路由

价格优先在满足能力约束的渠道中,优先选择输入和输出 Token 单价更低者,同时保留最低健康门槛。它适合可异步处理、对延迟不敏感的任务。

适用与限制

该策略不会绕过项目预算、模型白名单或供应商限流。低价渠道出现连续超时、5xx 或协议错误时,权重会自动下降并触发故障转移。成本优化可能带来更高 TTFT,请用 Trace 的成本和 P95 延迟一起评估。

建议配置

为批处理项目设置较宽的单请求超时和并发上限,保留一个速度更快的备用渠道;不要在交互式请求上盲目使用价格优先。