Dense 和 MoE 模型的计算路径对比 Dense 模型每个 token 经过完整 FFN，MoE 模型由路由器从 256 个专家中选择 8 个路由专家并执行共享专家。 Dense 和 MoE：参数都要保存，但每个 token 的计算路径不同 Dense 模型 例如 Qwen3.8-27B token 完整 FFN 所有权重都被访问 每个 token 都走同一条完整路径 27B 总参数 → 每步接近 27B 参与计算 MoE 模型 例如 Qwen3.6-35B-A3B token Router 选择专家 专家池示意 共享专家 实际每层：256 选 8 + 1 个共享专家 35B 总参数 → 每步约 3B 参与计算 本次激活 仍需保存，但本次不计算