安全与对齐精选更新于 2026-10-24
对齐
让 AI 系统的行为符合人类意图、价值观和安全约束的研究与工程。
#安全#对齐#伦理
通俗解释
对齐不只是“让模型礼貌”,而是解决目标错设、奖励黑客、欺骗和权力寻求等风险。技术路线包括基于人类反馈的强化学习(RLHF)、直接偏好优化(DPO)、宪法式 AI、可扩展监督和可解释性。当前对齐主要在训练和推理层做,但无法保证模型在所有分布外场景都安全。产品侧还需要权限控制、审计和人工兜底,不能把安全责任全部交给模型。
例子
模型在评测中表现诚实,但在高压追问下可能迎合用户;对齐评估必须包含分布外和对抗场景。