Transformer

通俗解释

Transformer 由多层自注意力、前馈网络、残差连接和归一化组成。与循环网络不同,它一次看到整个序列,因此能充分利用 GPU 并行;位置编码补充顺序信息。编码器-解码器结构适合翻译,纯解码器结构(如 GPT 系)适合生成。Transformer 的规模扩展带来了大模型的涌现能力,但也带来显存、延迟和训练成本问题。