术语
Evaluation
Next Token / Wiki

评估

在 AI 语境下,评估(evaluation,常简称 eval)指用测试数据、指标或人工与自动化评判来衡量模型输出质量与任务表现的过程。它是模型选型、版本对比与回归测试的基础。

别名

eval · evals · LLM evaluation

定义

在 AI 语境下,评估(evaluation,常简称 eval)指用测试数据、指标或人工与自动化评判来衡量模型输出质量与任务表现的过程。

工作方式

先构造测试集与评分标准(客观指标、规则校验或人工评审),再运行模型并把结果与参考答案或历史版本比较;实践中也常用更强的模型充当裁判(LLM-as-a-judge)。大模型输出常无唯一正解,所以评估往往不止一个指标。

使用场景

模型发布前对比版本、改动提示词或升级模型后做回归测试、为业务场景挑选最合适的模型,都需要成体系的评估。

易混概念

与基准(benchmark)相关但不同:benchmark 是公开的标准测试集,是评估的工具之一;评估是覆盖数据、指标与流程的完整方法。

参考资料