基础概念更新于 2026-10-24
位置编码
给 Transformer 注入词序信息的机制,因为自注意力本身不区分先后。
#基础#Transformer#长上下文
通俗解释
如果没有位置编码,“猫追狗”和“狗追猫”在自注意力看来是同一组词。早期使用正弦位置编码,后来发展为可学习位置嵌入、相对位置编码和旋转位置编码(RoPE)。RoPE 通过旋转向量表达相对距离,外推能力较好,已成为主流开源模型的选择。上下文窗口扩展时,位置编码的外推方法是关键变量。
例子
把上下文从 8K 扩到 128K 时,模型需要调整位置编码或做继续训练,否则远距离 token 的关系会失真。