路墨 Lumoswitch
稳定性与治理

主模型不可用时,大模型 API 如何故障切换?

了解固定路由与故障转移的区别、主模型不可用时的处理方式,以及如何在 Lumoswitch 中为模型调用准备可控的候选资源。

由 路墨 Lumoswitch 产品团队维护

简要回答

故障转移需要预先配置可用候选与顺序;固定路由不会自动切换。它降低单个上游异常的影响,但不保证模型或上游永久可用。

固定路由与故障转移有什么区别?

固定路由会把调用指向指定资源,不会因为异常自动尝试其他候选。故障转移则需要管理员事先配置候选资源与顺序,运行时在符合策略的异常情况下按候选范围继续尝试。两者服务的目标不同:固定路由强调确定性,故障转移强调可用性准备。

是否所有模型异常都会自动切换?

不会。是否切换取决于该对外模型是否配置了故障转移策略、候选资源是否可用,以及实际错误是否满足运行时的处理条件。故障转移不能修复模型自身的输出质量问题,也不能保证任意上游服务始终可用。

候选资源应该怎样配置?

先为客户端定义稳定的对外模型 ID,再选择允许承担该请求的候选资源和顺序。候选应在模型能力、接口兼容性、价格和合规边界上满足同一调用场景;不要把语义或能力差异明显的模型无差别混入同一故障转移链路。

发生异常后如何定位问题?

通过调用日志确认请求状态、耗时、实际路由结果与候选资源状态,再检查该访问 Key 所属模型配置的模型范围和速率限制。若问题来自上游凭据、模型健康状态或候选配置,应在控制台修复后重新验证;不要只依赖客户端重试掩盖持续性异常。

故障切换会调用未授权的模型吗?

故障切换只会在管理员为该模型配置保存的候选资源和路由规则内执行,不会越过已配置的模型边界。若候选资源没有正确发布、不可用或不满足接口要求,请求仍可能失败,而不是自动选择任意其他模型。