模型蒸馏

通俗解释

蒸馏可以降低部署成本、提升小模型在特定任务上的表现。它不等于复制教师模型的全部能力,学生模型仍受自身容量限制。数据质量和教师输出分布是关键。