智能路由

智能路由在同一公共模型的多个供应商渠道之间动态分配流量。它同时观察延迟、吞吐量、错误率、价格和熔断状态，而不是只在失败后切换。

路由决策流程

1. 过滤：移除不满足模态、上下文、区域或项目白名单的渠道。
2. 健康检查：降低近期超时、5xx 或协议转换失败渠道的权重。
3. 评分：按项目选择的策略计算成本、速度、可用性和吞吐评分。
4. 保护：触发并发、预算和异常流量限制；必要时进入主动熔断。
5. 执行：保留 Trace ID，按安全重试规则调用备用渠道。

配置建议

新项目先使用“均衡模式”，观察至少一个业务高峰周期，再根据 SLO 调整。对延迟敏感的交互应用选择“速度优先”；批处理选择“价格优先”；不能接受中断的任务选择“可用性优先”。

路由不会跨不兼容能力强行降级。比如请求要求工具调用时，只有声明支持 tools 的渠道才会进入候选集。

观测路由效果

在 LLMOps Trace 中对比候选渠道和最终渠道的 TTFT、总延迟、重试次数、输入/输出 Token 与成本。若某渠道长期处于熔断状态，先检查上游凭证、区域网络和协议映射，再恢复权重。