通道与路由
通道代表一个可用的上游连接;路由是在多个候选通道之间,依据模型、权限、健康状态、优先级和权重选择实际执行者的过程。
通道是上游连接的单位
一个通道通常对应某个提供商账号、代理或兼容服务地址。它包含连接配置以及允许转发的模型范围;实际字段和可用能力依赖通道类型。
将同一提供商拆分为多个通道可以隔离凭据、地区、预算或工作负载。管理端应将密钥保留在通道配置中,而不是交给终端应用。
候选集先于负载分配
系统会先按请求模型、用户或令牌允许范围、分组和可用状态筛选候选通道。随后才会应用优先级、权重、健康检查、重试或切换等策略。
因此,提高某个通道的权重不会让它突破模型限制或用户的通道白名单。排查“为什么没有命中某通道”时,应先检查候选条件,再检查分配策略。
- 模型匹配决定通道能否处理该请求。
- 权限和令牌约束决定请求是否能进入该通道。
- 优先级、权重和健康状态决定候选之间的选择顺序。
运营建议
为关键模型保留多个可替代通道,并通过实际请求验证不同协议、流式输出与媒体能力。健康状态只能反映已检测到的连接状况,不能替代对业务请求的端到端测试。