大模型推理成本通常由每个 token 参与计算的参数量、注意力计算、KV Cache 占用和硬件数据搬运共同决定。2026 年 8 月 26 日，通义千问团队发布并开放 Qwen3.8-Flash-Next 权重。它不是简单缩小模型，而是采用稀疏 MoE、混合注意力、门控残差与 N-gram Embedding，把“模型容量”和“单次推理计算量”尽可能拆开。根据官方 GitHub 仓库与Hugging Face 模型卡，该模型同时是 Qwen4 架构的早期预览。
核心逻辑：总参数很大，不等于每次全部计算
Qwen3.8-Flash-Next 的主模型包含 125B 参数，此外还有 51B 的 N-gram Embedding，但每处理一个 token，只激活约 6B 参数。这里最关键的指标不是总参数，而是激活参数量。在稠密模型中，每一层的大部分参数都要参与前向计算；在稀疏 MoE 模型中，路由机制会根据当前 token 选择少量专家，未被选中的专家不参与这次计算。这样可以保留较大的模型容量，同时把每个 token 的主要矩阵运算控制在较低规模。上述参数结构可在官方 README和官方模型卡中交叉核验。
需要注意的是，6B 激活参数并不等于模型只占用 6B 参数的存储空间。完整权重仍需要显存、统一内存或主机内存承载，路由、通信和权重读取同样会产生开销。因此，这种架构主要降低的是每个 token 的计算负担，并不意味着任何普通显卡都能无条件运行完整模型。实际成本还取决于量化精度、并行策略、推理框架和硬件带宽。
稀疏 MoE 如何减少无效计算
MoE 可以理解为把一个庞大的前馈网络拆成多个专业模块，再由路由器按输入选择合适的专家。对推理系统来说，收益在于无需让所有专家处理每个 token。模型可以继续扩充专家数量以容纳更多能力，但单次请求只调用其中一小部分，从而降低 FLOPs、计算时延和单位 token 的能源消耗。
不过，MoE 的成本优势能否兑现，还要看专家是否均衡、跨设备通信是否频繁。如果热门专家长期拥堵，或者专家分散在多张 GPU 上导致大量数据交换，理论上的计算节省可能被通信延迟抵消。因此，Qwen3.8-Flash-Next 更适合在支持高效专家路由和并行调度的推理框架中部署。模型卡已列出 Transformers、vLLM 与 SGLang 等兼容路径，具体支持状态应以模型使用说明为准。
GDN 与 QSA：降低长上下文注意力成本
传统全量注意力需要让当前 token 与大量历史 token 建立联系。上下文越长，注意力计算和缓存压力越明显。Qwen3.8-Flash-Next 将 Gated DeltaNet 与 Qwen Sparse Attention 组合使用：GDN 负责压缩和维护历史信息，QSA 则通过轻量索引器，以 micro-block 为单位选择更重要的上下文，而不是在所有层中持续处理完整序列。官方称，这一设计的目标是显著降低长序列注意力成本。相关机制可参见项目介绍与模型卡说明。
这种“压缩加稀疏检索”的结构特别针对代码仓库分析、长文档问答和多轮智能体任务。在这些场景中，费用不只来自回答长度，还来自反复读取庞大的上下文。若模型能够减少每一步需要处理的历史内容，就有机会同时降低预填充阶段的运算量、解码阶段的缓存访问压力，以及并发服务时的显存占用。
N-gram Embedding：用查表扩充容量
Qwen3.8-Flash-Next 还引入 51B 参数的 N-gram Embedding。它根据局部 token 组合进行查表，为模型补充上下文表示。与增加更多需要参与矩阵乘法的专家相比，Embedding 参数更适合通过内存卸载处理。官方说明，这部分数据可以放到主机内存，并借助异步预取与模型计算重叠，从而用较少的额外计算扩展模型容量。该设计在官方架构说明和Hugging Face 模型卡中均有披露。
它体现了一种新的成本思路：参数不仅可以通过“参与计算”发挥作用，也可以通过“按需检索”提供信息。但查表并非完全免费，如果内存带宽不足、预取失败或频繁访问较慢的存储介质，数据搬运可能成为新的瓶颈。因此，部署时不能只看激活参数量，还要测试首 token 延迟、持续吞吐、内存占用和并发条件下的稳定性。
门控残差与训练优化的间接作用
门控残差将残差信息流扩展为四个分支，并通过动态门控制信息读写。它的直接目标是加强跨层信息传递并维持训练稳定性，而其成本价值在于，让有限的激活计算能够得到更有效利用。与此同时，官方采用针对不同权重类别分工的 Muon 与 AdamW 优化方案，并重新拟合新架构的 Scaling Law。官方披露，其训练开销约为 Qwen3.7-Plus 的九分之一，但这一数字针对训练而非线上推理，不能直接解释为推理费用也下降到九分之一。来源见官方发布页与官方模型资料。
开发者如何判断它是否真的省钱
- 比较激活参数而非只看总参数：6B 激活参数能够反映主要计算规模，但还需计入注意力、视觉编码、路由和通信开销。
- 分别测试短上下文与长上下文：混合注意力的价值更可能在长文档、代码库和智能体会话中显现。
- 记录完整服务指标：至少测量首 token 延迟、每秒输出 token、峰值内存、并发吞吐和单位请求成本。
- 验证内存卸载效果：N-gram Embedding 能否低成本运行，取决于主机内存容量、带宽和异步预取实现。
- 使用真实业务样本：官方基准可以用于了解能力方向，但最终选型应以自身任务的质量与成本曲线为准。
总结
Qwen3.8-Flash-Next 降低推理成本的关键，不是单一压缩技术，而是四层协同：稀疏 MoE 减少每个 token 激活的专家参数，GDN 与 QSA 降低长上下文注意力负担，N-gram Embedding 用查表扩充容量，门控残差则提升有限计算的利用效率。它展示了一条“容量继续扩大，但每次只计算必要部分”的路线。对企业而言，真正值得关注的不是参数宣传数字，而是这套架构能否在实际硬件和业务负载下，形成更低且更平稳的单位 token 成本。
事件或资料日期：Qwen 团队于 2026 年 8 月 26 日发布 Qwen3.8-Flash-Next；本文核验日期为 2026 年 8 月 29 日。主要资料来自Qwen 官方 GitHub 仓库、官方技术报告及官方 Hugging Face 模型卡。
