工程实践更新于 2026-10-24

模型坍缩

模型长期用自身生成的数据训练,导致多样性下降和错误累积。

#训练数据#合成数据#风险

通俗解释

当互联网内容越来越多由 AI 生成,新模型可能学到上一代模型的输出而非真实世界数据。研究显示,这会导致分布尾部消失、输出趋同和对少数模式的过度自信,最终“坍缩”。缓解方法包括保留真实数据、引入人类反馈、数据溯源和合成数据配比控制。对内容平台而言,识别低质量 AI 内容并保护原创数据源,是长期模型质量的基础设施。

例子

如果每一代模型都只用上一代生成的论文摘要训练,罕见观点会逐渐消失,摘要风格越来越单一。

推荐工具

相关术语