模型与架构更新于 2026-10-24
MoE 混合专家
把模型拆成多个专家子网络,每次只激活其中一部分。
#模型架构#MoE#成本
通俗解释
MoE 用路由网络选择专家,在总参数量很大的情况下控制每次推理的计算量。它能在成本和能力之间取得平衡,但训练和部署更复杂,专家负载也可能不均衡。
例子
总参数 100B,但每个 token 只激活 10B,推理成本接近 10B 模型。
把模型拆成多个专家子网络,每次只激活其中一部分。
MoE 用路由网络选择专家,在总参数量很大的情况下控制每次推理的计算量。它能在成本和能力之间取得平衡,但训练和部署更复杂,专家负载也可能不均衡。
总参数 100B,但每个 token 只激活 10B,推理成本接近 10B 模型。