安全与对齐更新于 2026-10-24
RLHF
用人类偏好数据训练奖励模型,再通过强化学习优化模型输出。
#对齐#训练#偏好
通俗解释
RLHF 是让模型更有用、更符合人类偏好的关键步骤,常用于对话模型对齐。流程包括人类排序、奖励模型训练和强化学习。成本高,且可能引入奖励黑客和偏好偏差。
例子
标注员对两个回答排序,奖励模型学会偏好更有帮助、更安全的回答。
用人类偏好数据训练奖励模型,再通过强化学习优化模型输出。
RLHF 是让模型更有用、更符合人类偏好的关键步骤,常用于对话模型对齐。流程包括人类排序、奖励模型训练和强化学习。成本高,且可能引入奖励黑客和偏好偏差。
标注员对两个回答排序,奖励模型学会偏好更有帮助、更安全的回答。