Codex

Codex 模型对比图怎么读:坐标轴、分数含义与计算方式

编辑部阅读约 5 分钟

社区流传的 Codex 模型对比图把 GPT-5.5-high、GPT-5.4-high 排在前列,但很多人点进去只认识字、读不懂图。这篇文章拆解这类图表的基本读法:-high 是什么、横纵轴各表示什么、分数为何不等于「智力」、通常怎么算出来,以及选型时该核对哪些细节。

一张对比 Codex 可用模型的图在社区里流传,排在前面的组合写着 GPT-5.5-high、GPT-5.4-high 这样的名字。图被转到群里之后,提问几乎都集中在同一处:这图是谁做的、横轴竖轴各代表什么、那个数字是不是「智力」、又是怎么算出来的。看得懂坐标轴的人觉得一目了然,看不懂的人则「字都认识,连起来不知道在说什么」。

与其争论某张图准不准,不如先弄清楚这类 Codex 模型对比图在测什么、该怎么读。下面按「名字 → 坐标轴 → 分数 → 算法 → 怎么用」的顺序拆开讲。图中的具体数值和口径以该站点当前的说明页为准,不同平台的实现细节并不统一。

先看懂名字:-high 不是模型名的一部分

排行榜上出现的是「模型 + 推理强度档位」的组合。同一款模型通常可以调不同的思考预算,常见档位有 low / medium / high,部分产品还会提供更极端的档位。

这一点非常关键:

  • GPT-5.5-high 指的是某款模型在最高一档推理强度下的表现,不是另一款独立模型。
  • 同一模型不同档位之间的差距,有时比不同模型之间的差距还大。
  • 档位越高,单次响应越慢、消耗的 token 越多,成本也越高。

所以看到「A-high 打赢了 B-high」时,不能直接推出「A 比 B 强」——还要问一句:那 A-low 和 B-low 呢?

横轴竖轴分别代表什么

这类散点图/折线图的两轴,绝大多数情况下是「代价」对「效果」:

位置 常见含义 怎么读
横轴 单次任务成本、耗时、输出 token 数 越靠左越便宜/越快
纵轴 综合得分(通过率、胜率等) 越靠上越好
点的大小/颜色 样本量、方差、置信区间 点小往往意味着样本少
连线 同一模型不同档位的轨迹 反映「加钱能换来多少提升」

如果没有图例,先去找站点的方法说明页,而不是靠猜。常见的误读是把横轴当成「时间先后」或「模型代数」,从而得出「越新越强」的结论——这恰好是这类图最不擅长表达的信息。

还有一个实用技巧:看左上角的边界。所有点里,没有被别人同时做到「更便宜且更高分」的那些点组成一条前沿曲线,通常称为帕累托前沿。真正值得选的就是这条线上的候选,至于挑哪一个,取决于你的预算和延迟容忍度。

分数代表什么:任务通过率,不是智力

把纵轴叫作「智力」是最容易产生误解的说法。这类分数通常来自一组固定任务上的表现统计,比如:

  • 给定代码仓库和一个问题,看改完之后内置测试能不能通过;
  • 给定需求,看生成结果是否满足若干可自动判定的检查项;
  • 由另一个模型充当裁判做偏好打分。

它衡量的是「在这套题上做对了多少」,而不是通用推理能力。换一套题目、换一种判定方式,排名完全可能变化。所以更准确的读法是:在这类任务上,这个配置的性价比如何,而不是「谁更聪明」。

这类分数通常是怎么算出来的

各家细节不同,但流程大同小异,了解骨架能帮你判断可信度:

  1. 固定任务集:题目、初始状态、判定脚本全部冻结。
  2. 固定运行条件:同一个档位、同样的超时时间、同样的重试次数。
  3. 重复多次:同一题跑 N 次取平均,或统计「N 次里至少对一次」的比例。
  4. 分类加权:按难度或题型加权汇总,避免简单题拉高总分。
  5. 归一化:把原始通过率映射到便于比较的区间。

值得核对的几个点:

  • 样本量多少:几十道题的差距,很可能落在噪声里。
  • 判定方式:自动化测试比模型打分稳定;用模型当裁判时,注意它可能偏爱某种风格的输出。
  • 超时算不算失败:高推理档位容易被超时截断,这条规则会直接影响排名。
  • 成本口径:是否把失败重试、上下文缓存都算进去。
  • 更新日期:模型和 harness 都在变,半年前的榜参考价值有限。

用排行榜做选型的检查清单

把图当参考而不是答案,按下面的清单过一遍再决定:

  • 榜单里有没有和你任务同类的子项分数?总分高不等于你的场景强。
  • 差距是否明显大于图中标注的波动范围?差距小于噪声时视为持平。
  • 延迟是多少?高推理档位在交互式补全、边写边改的场景里可能难受到无法用。
  • 成本怎么算?档位提高带来的开销是否线性增长,预算能不能撑住日常使用。
  • 能否拿到失败样本?看它错在什么地方,比看总分有用得多。

几个容易被忽略的坑

数据污染。公开题目一旦长期存在于训练语料里,分数会虚高。优先相信题目不公开、或定期换题的评测。

只测最高档。榜单往往只展示 high 档的结果,而日常使用中 medium 甚至 low 的性价比可能更好。选型时要按你真正会用的档位去比。

把名次当结论。「第一名」和「第三名」之间可能只差一两道题,宣传语里却会被放大成代差。

忽略任务分布。偏前端的题、偏重构的题、偏运维脚本的题,考验的能力完全不同。

不确定时,自己跑一个小评测

如果榜单和你手上的体感对不上,最稳妥的办法是自建一个 20–50 题的小测试集:从你真实的代码库里抽题,把判定写成脚本,让候选模型和档位各跑两遍。这个成本不高,但结论比任何榜单都贴近你的实际场景。

要注意的是,高推理档位单次执行时间长,一次完整评测往往要跑几十分钟到几个小时,本机休眠、断网或合盖都会打断进程。如果需要长时间排队跑多个模型和档位,可以把评测放到一台常开的远程机器上执行,本地只负责看结果;对网络访问和持续在线有要求的场景,租用一台整机放在机房的远程 Mac(例如新加坡机房的独享 Mac mini,按月使用、远程连接)也是可选做法之一。

小结

看懂这类 Codex 对比图,记住三件事就够了:名字里的 -high 是推理强度档位而不是模型型号;两轴一般是「成本/耗时」对「任务得分」,值得选的是左上那条前沿;分数是特定任务集上的通过率统计,不是智力测验。把它当作筛选候选的起点,再用自己的小评测做最终确认,比纠结某张图的排名更实际。平台口径和模型列表都可能随时调整,涉及具体版本与计费时,请以官方最新说明为准。

Codex模型评测基准测试推理强度排行榜