同一个背景调研任务——把几个人在全网的信息各搜一遍——交给两个不同的运行框架，结果相差很远：一个找找就停了，按使用者的估计只有二十分水平；另一个连人工都不容易找全的公众号文章，都能搜到并完整拉回内容。这是录制时的一次个例，却指向评测中常被忽略的事实：决定结果的不只是模型，还有模型外面那层东西。
评测对象：模型加框架的组合
运行框架正是这层东西。录制前后出现的一份编程运行框架评测，比较的就是任务完成率和 Token 成本：把不同框架放进同样的任务，看谁用更少的消耗把事情做完。结果里，同一个模型换个框架，花费可能差出一截；效率高的框架不靠堆功能，反而以提示词更轻、只配备必要工具取胜。
这提醒读者，引用任何评测时，读到的都应该是“某个模型加某个框架在某类任务上的表现”，而不是“某个模型有多强”。框架的提示词多少、工具配置、架构轻重，都会写进最终成绩。脱离使用方式谈模型能力，就像只看发动机参数评价一辆车。
被感知的能力，不代表全部能力
面向公众的模型评测还有一个绕不开的约束：普通用户只能对看得见的东西有感知。于是评测演示越来越卷 3D——它足够复杂，过程和结果都一目了然；某代模型发布时，多项公开评测分数已经接近满分，社区转而用 3D 建模和 3D 小游戏来分辨高下，一次游戏扩展只用掉订阅额度的一小部分。
这类演示有价值：它把抽象的能力差异变成了可以亲眼核对的东西。但它衡量的也是被刻意感知的部分。一个模型 3D 演示出色，说明它在专门强化的方向上投入了训练，不说明写作、检索或长任务执行同样出色。演示是被选择过的能力切片，切片之外的部分仍需要用真实任务去补。
出题的水平，决定分数的含金量
模型厂商会针对公开评测做优化，这已是公开的秘密。讨论中提到一个例子：一个编程评测发布新版本后，各家模型在旧版本的题目上都表现很好，到了没被打榜过的新题上成绩明显下滑，只有个别模型在新旧版本上保持稳定。分数稳定与否，比的其实是出题与打榜之间的时间差。
因此，看评测时值得多问一句：这套题发布多久了，被针对性训练过没有。在新鲜题目上的表现，比在流传已久的题目上的高分更有信息量。
不同能力，需要不同的题
评测不是一场考试，而是按能力分别出题。录制时的体感里，写作和编程几乎对应两批模型：编程榜上领先的模型，写作未必好；一些写作被认可的模型，靠的也不是总分。写作好的模型被整站替换进内容生产流程，检索能力强的框架被留下来做资料调研——各自对应不同的测试任务。
厂商宣称的数字同理。一个量化后的小模型宣布保留了原模型 98.2% 的综合性能，这个口径是厂商自己的评测结果；它是否成立，要放到使用者自己的任务里复测——同一个模型，在你的数据、你的提示词、你的验收标准下，可能表现得更差，也可能更好。
排名的保鲜期越来越短
静态榜单还有一个正在失效的前提：模型版本稳定。厂商先发 Preview 试探口碑、用日期代替版本号、宣布线上持续更新的做法越来越多，有的模型默认一周更新好几次。版本号消失后，榜单失去了固定的评测对象——没法针对某个版本说它烂，反过来也没法说它好。
排名过时得快，替代的验证方式反而更直接：免费试用让每个用户都能低成本形成体感，社区里真实使用者的反馈比榜单更快暴露问题。评测没有消失，而是从少数机构的手里，分散到了每一次真实使用里。
阅读模型信息的可行方式因此变成：先明确自己的任务是什么，再找最接近它的测试或试用，把榜单当成线索而不是结论。评测的单位终究是任务，而不是模型名字。