KV 缓存

通俗解释

自回归生成每一步都要对全部历史做注意力。KV 缓存把历史 token 的 Key 和 Value 保存下来,新 token 只需计算自己的 Query 并拼接缓存,显著降低延迟。代价是显存占用随上下文长度和并发数线性增长,长上下文服务因此常配合分页缓存(PagedAttention)、量化缓存或多轮会话裁剪。缓存命中率直接影响推理成本和首 token 延迟。