上下文腐化

通俗解释

长上下文并不等于同等有效。研究发现,当关键信息位于长文档中部,或被大量无关内容包围时,模型召回和推理准确率会下降,这种现象被称为 context rot。原因包括注意力稀释、位置编码外推不足和训练数据中长文档分布不足。工程上应做检索、分段摘要和关键信息前置,而不是把所有资料一次性塞进上下文。