指令微调

通俗解释

预训练模型只会续写文本,指令微调把它变成“助手”。训练数据通常包含任务描述、输入和理想回答,覆盖问答、总结、写作、拒答等场景。指令微调提升的是遵循度和格式稳定性,不等于注入新知识;事实更新仍要靠检索或继续预训练。数据质量比数量关键,少量高质量、多样化的指令数据往往优于大量模板化样本。