# 把真实任务放进模型评测 Next Token 博客 榜单分数之外，模型的真实表现取决于运行框架、任务类型和数据是否新鲜。本文以具体任务为例，说明评测结果应该怎么读、怎么用。 发布：2026-09-22 更新：2026-10-10 同一个背景调研任务——把几个人在全网的信息各搜一遍——交给两个不同的运行框架，结果相差很远：一个找找就停了，按使用者的估计只有二十分水平；另一个连人工都不容易找全的公众号文章，都能搜到并完整拉回内容。这是录制时的一次个例，却指向评测中常被忽略的事实：决定结果的不只是模型，还有模型外面那层东西。 ## 评测对象：模型加框架的组合 运行框架正是这层东西。录制前后出现的一份编程运行框架评测，比较的就是任务完成率和 Token 成本：把不同框架放进同样的任务，看谁用更少的消耗把事情做完。结果里，同一个模型换个框架，花费可能差出一截；效率高的框架不靠堆功能，反而以提示词更轻、只配备必要工具取胜。 这提醒读者，引用任何评测时，读到的都应该是"某个模型加某个框架在某类任务上的表现"，而不是"某个模型有多强"。框架的提示词多少、工具配置、架构轻重，都会写进最终成绩。脱离使用方式谈模型能力，就像只看发动机参数评价一辆车。 ## 被感知的能力，不代表全部能力 面向公众的模型评测还有一个绕不开的约束：普通用户只能对看得见的东西有感知。于是评测演示越来越卷 3D——它足够复杂，过程和结果都一目了然；某代模型发布时，多项公开评测分数已经接近满分，社区转而用 3D 建模和 3D 小游戏来分辨高下，一次游戏扩展只用掉订阅额度的一小部分。 这类演示有价值：它把抽象的能力差异变成了可以亲眼核对的东西。但它衡量的也是被刻意感知的部分。一个模型 3D 演示出色，说明它在专门强化的方向上投入了训练，不说明写作、检索或长任务执行同样出色。演示是被选择过的能力切片，切片之外的部分仍需要用真实任务去补。 ## 出题的水平，决定分数的含金量 模型厂商会针对公开评测做优化，这已是公开的秘密。讨论中提到一个例子：一个编程评测发布新版本后，各家模型在旧版本的题目上都表现很好，到了没被打榜过的新题上成绩明显下滑，只有个别模型在新旧版本上保持稳定。分数稳定与否，比的其实是出题与打榜之间的时间差。 因此，看评测时值得多问一句：这套题发布多久了，被针对性训练过没有。在新鲜题目上的表现，比在流传已久的题目上的高分更有信息量。 ## 不同能力，需要不同的题 评测不是一场考试，而是按能力分别出题。录制时的体感里，写作和编程几乎对应两批模型：编程榜上领先的模型，写作未必好；一些写作被认可的模型，靠的也不是总分。写作好的模型被整站替换进内容生产流程，检索能力强的框架被留下来做资料调研——各自对应不同的测试任务。 厂商宣称的数字同理。一个量化后的小模型宣布保留了原模型 98.2% 的综合性能，这个口径是厂商自己的评测结果；它是否成立，要放到使用者自己的任务里复测——同一个模型，在你的数据、你的提示词、你的验收标准下，可能表现得更差，也可能更好。 ## 排名的保鲜期越来越短 静态榜单还有一个正在失效的前提：模型版本稳定。厂商先发 Preview 试探口碑、用日期代替版本号、宣布线上持续更新的做法越来越多，有的模型默认一周更新好几次。版本号消失后，榜单失去了固定的评测对象——没法针对某个版本说它烂，反过来也没法说它好。 排名过时得快，替代的验证方式反而更直接：免费试用让每个用户都能低成本形成体感，社区里真实使用者的反馈比榜单更快暴露问题。评测没有消失，而是从少数机构的手里，分散到了每一次真实使用里。 阅读模型信息的可行方式因此变成：先明确自己的任务是什么，再找最接近它的测试或试用，把榜单当成线索而不是结论。评测的单位终究是任务，而不是模型名字。 ## 相关资料 - [运行框架评测：完成率与 Token 成本](https://nexttoken.tv/weekly/001/transcript#quote-92ea5ff79896fd00a92a) - [免费试用是最直接的测试](https://nexttoken.tv/weekly/001/transcript#quote-8e051d18a5e240b395d3) - [滚动发版让榜单失去对象](https://nexttoken.tv/weekly/001/transcript#quote-ea83290f01de720c5c8a) - [3D 演示与可感知的能力](https://nexttoken.tv/weekly/002/transcript#quote-ccd9509479ed2535f667) - [真实环境中的 Agent 能力](https://nexttoken.tv/weekly/002/transcript#quote-f04e99372001a9cb9a60) - [写作能力需要单独的题](https://nexttoken.tv/weekly/002/transcript#quote-67d0fdcd92dbde4dd820) - [同一模型的体感变化与流传解释](https://nexttoken.tv/weekly/002/transcript#quote-e1f2ecea0247c377ea85) - [量化保真率这类宣称数字](https://nexttoken.tv/weekly/003/transcript#quote-283872caf0ef6a74a2ce) ## 来源与相关链接 - [网页版文章](https://nexttoken.tv/blog/real-task-model-evals) - [Weekly #001 完整文字稿](https://nexttoken.tv/weekly/001/transcript) - [Weekly #002 完整文字稿](https://nexttoken.tv/weekly/002/transcript) - [Weekly #003 完整文字稿](https://nexttoken.tv/weekly/003/transcript)