投机解码

通俗解释

大模型逐 token 生成很慢,投机解码让便宜的小模型先猜后续几个词,大模型一次前向验证这些猜测;接受的 token 直接保留,拒绝的从分歧处重来。它能在不改变输出分布的前提下降低延迟,适合高并发、对延迟敏感的推理服务。效果取决于草稿模型与目标模型的一致性;草稿太差会频繁拒绝,反而增加开销。