术语
Benchmark
Next Token / Wiki

基准测试

基准测试是用固定数据集和统一评分规则衡量系统表现的方法。在 AI 领域,它通常是成套的题目加自动评分标准,用来给模型能力打分并做横向比较。

定义

基准测试(benchmark)指用固定数据集和统一评分规则衡量系统表现的方法。在 AI 领域,它通常是一组题目加一套自动评分标准,用来给大语言模型等模型的能力打分。

工作方式

被测系统在相同条件下运行同一组任务,得分可以跨模型横向比较。除了模型能力,计算机行业也有面向硬件与服务性能的基准,例如衡量推理吞吐的 MLPerf 项目。

使用场景

模型发布、采购选型和研究对比都依赖基准测试;评估工作通常会选取一组基准来回答“这个模型到底行不行”。分数只反映基准覆盖到的能力,不能等同于真实使用效果。

易混概念

基准测试是评估的标准化工具之一,评估的范围比它更宽,还包括人工评审等方法。性能基准里的每秒词元数衡量速度,而能力基准衡量答得好不好,两类数字不应混用。

参考资料