定义
基于人类反馈的强化学习（RLHF）是一种模型训练方法，用人类的偏好评价作为训练信号，使模型输出更符合人类期望，常用于预训练之后的对齐阶段。
工作方式
典型流程分三步：先收集人类对模型不同输出的比较或排序；据此训练一个奖励模型，让它学会给输出打分；再用强化学习算法优化大语言模型，使其输出获得更高奖励。
使用场景
RLHF 及其变体被广泛用于让语言模型遵循指令、提供更有帮助且更安全的回答，是聊天助手类产品发布前的常见训练环节。
易混概念
RLHF 是作用于模型之上的训练方法，不改变 Transformer 等架构和下一个词元的生成机制，改变的是模型选择生成什么内容的倾向。