定义
在 AI 语境下,评估(evaluation,常简称 eval)指用测试数据、指标或人工与自动化评判来衡量模型输出质量与任务表现的过程。
工作方式
先构造测试集与评分标准(客观指标、规则校验或人工评审),再运行模型并把结果与参考答案或历史版本比较;实践中也常用更强的模型充当裁判(LLM-as-a-judge)。大模型输出常无唯一正解,所以评估往往不止一个指标。
使用场景
模型发布前对比版本、改动提示词或升级模型后做回归测试、为业务场景挑选最合适的模型,都需要成体系的评估。
易混概念
与基准(benchmark)相关但不同:benchmark 是公开的标准测试集,是评估的工具之一;评估是覆盖数据、指标与流程的完整方法。