基础概念精选更新于 2026-10-24
注意力机制
让模型在处理某个位置时,动态判断其他位置有多重要的计算方式。
#基础#Transformer#模型结构
通俗解释
注意力机制的核心是 Query、Key、Value:每个 token 用自己的 Query 与所有 Key 计算相似度,得到权重后再加权汇总 Value。它解决了循环网络难以并行、长距离依赖衰减的问题。多头注意力让模型同时从不同表示子空间捕捉关系。代价是计算量随序列长度平方增长,因此长上下文需要稀疏注意力、滑动窗口或 KV 缓存等优化。
例子
翻译“银行旁边的河岸”时,模型通过注意力把“河岸”与“银行”区分开,而不是只按相邻词逐个翻译。