安全与对齐更新于 2026-10-24
DPO
跳过奖励模型,直接用偏好数据优化模型输出的对齐方法。
#对齐#DPO#训练
通俗解释
DPO 比 RLHF 更简单稳定,训练成本更低,适合偏好对齐和风格调整。它仍依赖高质量偏好数据,且对超参数敏感。很多开源模型用 DPO 或类似方法做后训练。
例子
用 1 万组 chosen/rejected 回答对,直接优化模型偏好。
跳过奖励模型,直接用偏好数据优化模型输出的对齐方法。
DPO 比 RLHF 更简单稳定,训练成本更低,适合偏好对齐和风格调整。它仍依赖高质量偏好数据,且对超参数敏感。很多开源模型用 DPO 或类似方法做后训练。
用 1 万组 chosen/rejected 回答对,直接优化模型偏好。