方法与工具 / PRACTICE NOTE
最强模型在 GDPx 上只拿 12%:企业选模型,跑分之后再加一道业务实测
SemiAnalysis 11 月 2 日发布 GDPx 基准:206 个长任务、11 个专业领域,最强的 Claude Opus 5.5 只拿下 12%,金融和法律任务所有模型全部得零分。跑分的天花板这么低,对转型中的企业反而是好消息:选模型别再盯着榜单看,立项前拿自己的真实任务实测一次,比看一百个跑分都有用。
摘要
SemiAnalysis 2026-11-02 发布 GDPx v1.0:206 个任务、11 个领域、14 家数据伙伴;Claude Opus 5.5 以 12.0% 居首(平均 $51.41/任务),Gemini 4 Carbon 10.9%($16.29/任务),GPT-6 Astra 9.6%($53.99/任务);金融与法律在二进制评分下所有模型得 0 分;任务限时 8 小时,pass@1 取三次平均,各领域等权。
- 体裁
- 实践文章
- 适用对象
- 企业高管、技术负责人、AI 转型负责人、采购负责人
- 参考来源
- 3 项 · 详见文末
SemiAnalysis 11 月 2 日发布了一个新基准 GDPx,数字很扎眼:206 个长任务、横跨 11 个专业领域,当今最强的 Claude Opus 5.5,只拿下 12%。先说结论:这个分数对企业选模型是好消息——它等于官方宣布“跑分看看就好”,真正要做的是立项前拿自己的真实任务实测一次。
12% 的卷子长什么样
先看榜单(v1.0,13 个模型):
| 排名 | 模型 | 得分 | 平均每任务成本 |
|---|---|---|---|
| 1 | Claude Opus 5.5 | 12.0% | $51.41 |
| 2 | Gemini 4 Carbon | 10.9% | $16.29 |
| 3 | GPT-6 Astra | 9.6% | $53.99 |
| 4 | Meta Muse Wonder Full | 9.0% | 未公布 |
| — | Grok 4.7 | 3.9% | 未公布 |
| 13 | GLM 5.3(开源权重) | 2.7% | 未公布 |
11 个领域是 SemiAnalysis 按“AI 真正能赚到钱的地方”挑的:芯片设计、硬件设计、网络安全、生物、金融、法律、量化交易、递归自我改进、材料科学、alignment(模型是否守规矩)、软件工程。206 个任务和 14 家专业数据公司一起出,模型在各自的原生工具环境里跑(Opus 用 Claude Code、OpenAI 模型用 Codex),每题限时 8 小时。
两个细节只有看了原始榜单才知道:第一,分领域看,赢家完全不同——Opus 拿下量化交易、硬件和芯片设计,Gemini 4 Carbon 拿下生物和软件工程(它还没正式 GA),GPT-6 Astra 拿下递归自我改进和材料科学。没有“全能冠军”,只有“偏科冠军”。第二,性价比那一栏很刺眼:第二名 Carbon 每任务 $16.29,不到第一名 $51.41 的三分之一——贵三倍,分数只差 1.1 个百分点。
最狠的是金融和法律:在“做成或没做成”的二进制评分下,所有模型全部 0 分,SemiAnalysis 只好改报部分分。翻译成老板的话:你让模型干的活越像“要负责任的专业工作”,它离及格越远。
跑分之后,企业要加的“第二道题”
跑分测的是“模型在别人的考场上拿几分”,选型要答的是“模型在我的业务里能不能干活”。建议把选型流程改成双轨:
第一轨,看跑分定方向。GDPx 这类长任务基准的价值不在排名,在“偏科表”——你的业务偏芯片设计就看 Opus 那一栏,偏生物就看 Carbon。以及记住它的更新节奏:3 到 6 个月一版,别拿一次快照当长期结论。
第二轨,用自己的任务实测。从业务里抽 20 到 50 个真实任务(带标准答案的那种),让候选模型在你们的工具环境里跑一遍,算通过率和单任务成本。GDPx 已经示范了格式:限时、pass@1、记成本。你们要抄的是这套方法,不是它的题目。
边界要说清楚:GDPx 是 SemiAnalysis 的付费产品,题目是它和数据伙伴一起出的,没经过外部独立审计;作者自己也承认安全过滤器压低了部分模型的分数。所以别拿 12% 去论证“AI 不行”,也别拿排名去压供应商降价——它的正确用法是选型参照系,不是判决书。
转型落点:建你们自己的“业务基准集”
正在选模型的企业,建议这个月就动手建第一版业务基准集:从客服、代码、文档、数据分析里各抽 10 个真实任务,写下“什么算做对”,跑一遍候选模型,把通过率和单任务成本记下来。这套东西建一次,长期有用——以后每次换模型、每次供应商涨价,拿出来重跑一遍,决策就有依据。GDPx 的 12% 告诉我们的不是模型不行,而是:别人的考场再权威,也考不出你的业务。这张卷子,得自己出。
参考来源
常见问题
GDPx 和以前的跑分有什么不一样?
以前的基准多是“给个提示词、要个交付物”的短任务;GDPx 是长任务——每个任务限时 8 小时,模型要在自己的工具环境里(Claude Code、Codex 等)真实干活,评分是三次尝试的 pass@1 平均。SemiAnalysis 明确它是冲着 OpenAI 去年 9 月的 GDPval 去的,认为那套已经属于“前 Agent 时代”。
12% 是不是说明模型不行?
不完全是。12% 反映的是题目难——金融和法律任务在“做成或没做成”的二进制评分下所有模型都是 0 分。SemiAnalysis 自己也承认:安全过滤器拉低了 Opus 5.5 和 GPT-6 Astra 在网络安全、生物等任务的分数;而且这是它自家出的付费产品,题目没经过外部独立审计。
榜单多久更新一次?
SemiAnalysis 计划每 3 到 6 个月发新版。所以今天的排名只是快照,选型时别把某一次的榜单当长期结论。