方法与工具 / PRACTICE NOTE
只看标价选模型正在让你多花钱:OpenRouter 把选路改成算“一单好答案的成本”
OpenRouter 10 月 28 日宣布重建默认选路算法:不再只按标价排序,而是算一单好答案的总成本——价格、等待时间和重试代价都算进去。一周切换实验里,首字等待降 16.9%、被拒错误降 67%,成本只涨 6%。对转型中的企业,这是一个可以直接抄的采购口径:别比标价,比每单好答案花多少钱。
摘要
模型采购的正确比价单位不是标价,而是一单好答案的总成本:价格加等待加重试。
- 体裁
- 实践文章
- 适用对象
- 企业高管、技术负责人、AI 项目负责人
- 参考来源
- 2 项 · 详见文末
OpenRouter 10 月 28 日宣布重建默认选路算法:不再只按标价排序,而是算一单好答案的总成本——价格、等待时间和重试代价都算进去。一周切换实验里,首字等待降 16.9%、被拒错误降 67%,成本只涨 6%。对转型中的企业,这是一个可以直接抄的采购口径:别比标价,比每单好答案花多少钱。
以前为什么便宜却不好用:只看标价的三个坑
OpenRouter 说,平台上大约 77% 的请求对应多个供应商,请求没指定供应商时,过去基本按输入 token 的标价分流量。便宜的拿得多,失败了再转给次便宜的。这个办法拿到了全网最低价,但也埋了三个坑。第一,便宜但慢的照样赢,用户的等待没人算账。第二,排名是静态的,供应商变差要差到被彻底降级才反映出来。第三,供应商想赢流量只能降价,降到最后没钱投基础设施,可靠性反而下来。更隐蔽的是价格游戏:只按输入价排,供应商可以把输入价标得很低,再从缓存和输出 token 上赚回来。
翻译成老板的话:标价最低的那家,经常是让你在等待和重试上付第二遍钱的那家。
新算法怎么算:一单好答案,等于一单成本除以成功率
新算法给每个供应商算一个实时“选路成本”,由三部分组成。有效价:按实际流量算出的真实价格,含缓存命中率和输入输出比例,不是目录价。等待:首次回应等待和整体吞吐都折算成成本,因为 Agent 一次会话要调很多次工具,每次等待都会累积。可靠性:失败、被拒(429)和工具调用格式错误都会抬高成本,失败率高的供应商即使标价低,总成本也高。
OpenRouter 举的例子很直观:一单尝试价格 0.40 美元、等待折算 0.60 美元,合计 1.00 美元;成功率 80% 时,一单好答案就是 1.25 美元。流量分配也有护栏:表现差的供应商会被降量直到恢复,表现好的有上限防止一家独大,每个供应商都保留一小股试探流量,免得它变好了没人知道。
实测数字:2400 万次请求,一周切换实验的结果
OpenRouter 没有用常规对照实验,因为选路改动会互相干扰:新算法把流量从故障供应商挪走,旧算法的请求反而会变快。它用的办法是每 3 小时切换一次新旧算法,中间留 1 小时清洗期,一周内切分了超过 2400 万次请求、1030 亿输入 token。
| 指标 | 旧算法 | 新算法 | 变化 |
|---|---|---|---|
| 首字等待中位数 | 1007 毫秒 | 837 毫秒 | 降 16.9% |
| 吞吐中位数 | 62.4 token/秒 | 72.6 token/秒 | 升 16.3% |
| 每千次请求成本 | 1.25 美元 | 1.32 美元 | 涨 6.0% |
| 被拒错误(429) | 基准 | — | 降 67% |
| 整单耗时中位数 | 4.00 秒 | 3.24 秒 | 降 19.0% |
数字是 OpenRouter 自己的实验结果,不是第三方审计,读的时候打个折:方向可信,幅度留待自家验证。但有一点不用怀疑:6% 的成本上涨换来等待和失败率的大幅下降,对面向用户的场景是划算的买卖,对纯后台批量任务则要另算。
边界:网关不是保险柜,归属变化也要算进去
三处边界。第一,新算法只管默认选路,显式指定供应商、指定排序、指定白名单的请求仍按指定走;会话一旦开始会固定在原供应商以保住缓存,供应商不可用时才自动换。第二,独立评测提醒:OpenRouter 目录号称 500 多个模型、80 多家供应商,充值收 5.5% 平台费,商业版 8% 换欧盟和美国区域内选路;免费档每分钟 20 次、每天 50 次,买 10 美元额度后每天提到 1000 次。第三,归属:Stripe 在 2026 年 8 月 19 日同意收购 OpenRouter,交易金额据报道超过 70 亿美元,交易尚未完成,平台政策以后可能变。关键业务别只押一家网关,合同里留好迁出条款。
转型落点:把采购口径从标价换成每单好答案
正在上 Agent 的企业,可以直接抄这个口径:以后比价不比标价,比每单好答案的总成本——价格、等待、重试三项加起来,除以成功率。落地时做三件事:第一,跑自家真实任务样本,记下成功率和等待时间;第二,给每个关键模型设失败率上限,超了自动降量;第三,预算里单列一笔“重试成本”,让便宜但总失败的供应商在账面上现形。标价是供应商的报价,好答案的成本才是企业的账单。
参考来源
常见问题
一单好答案的成本怎么算?
OpenRouter 的算法是:一单尝试的成本等于价格加等待时间,再除以成功率。举例:一单 0.40 美元价格加 0.60 美元等待等于 1.00 美元,成功率 80% 时,一单好答案就是 1.25 美元。成功率越低,真实成本越高。
中小企业用网关要注意什么?
三件事:免费档每天只有 50 次请求,买 10 美元额度后提到 1000 次;充值时收 5.5% 平台费,商业版 8%;未用完的额度按条款一年后过期。大额预付之前,先按自家用量算一遍,别为折扣多充。