2026年8月28日，腾讯正式发布并开放Hy4 preview模型权重。它的主干总参数达到770B，即7700亿，每个token实际激活49B参数，上下文长度达到1M tokens。三个数字放在一起看，Hy4 preview的核心思路并不是单纯堆参数，而是借助MoE稀疏激活、稀疏注意力和量化部署，在模型容量、长文本处理能力与推理成本之间寻找平衡。相关规格已由腾讯发布公告和官方代码仓库交叉确认。
7700亿参数不等于每次都计算7700亿参数
Hy4 preview采用混合专家架构。根据官方中文模型说明，其主干包含78层，第一层使用标准FFN，其余77层采用MoE结构；每个MoE层有256个路由专家和1个共享专家，每个token只激活其中top-8路由专家与共享专家。因此，模型虽然拥有770B主干参数，但单token激活参数为49B，约占主干总参数的6.4%。
这种设计的意义在于，把“模型可以容纳多少知识和能力”与“每次推理需要多少计算”部分解耦。巨大的专家池负责扩展容量，路由器则根据输入选择少量专家参与计算。与同规模稠密模型相比，MoE能够显著降低单次前向计算量，但不能简单理解为部署成本也只剩6.4%，因为完整权重仍需要被存储和加载，专家并行还会带来跨卡通信、负载均衡等工程开销。
百万上下文依靠的不只是窗口数字
Hy4 preview将上下文长度扩展到1M tokens，面向大型代码库、跨文件办公、科研资料分析和长周期Agent任务。为了控制长序列计算压力，模型在注意力模块中使用Gated DeepSeek Sparse Attention，并通过IndexCache复用跨层稀疏索引；残差路径则采用iHC扩展层间信息通路。这些架构信息同时记录在Hugging Face官方模型页和GitHub仓库中。
稀疏注意力的价值，是避免所有token在每一层都进行完全的两两交互，从而缓解长上下文带来的计算与访存压力。不过，1M上下文并不意味着企业应把所有文档不加筛选地塞入提示词。上下文越长，KV Cache占用、首token等待时间和输入处理费用通常越值得关注，过多无关材料还可能稀释关键信息。真正实用的方案仍应结合检索、文档分块、版本过滤和外部记忆，只在任务需要时启用超长窗口。
开放权重降低了门槛，但没有消除硬件成本
腾讯已经在Hugging Face等平台开放Hy4 preview及其FP8版本，许可证标注为Apache 2.0，并在官方仓库提供vLLM和SGLang部署说明。这意味着企业可以在符合许可证要求的前提下进行本地推理、内部评测和定制，而不必把敏感数据发送给外部闭源服务。模型及许可证状态可在官方模型页面和许可证文件中核验。
但“开放权重”解决的是可获得性，不代表单机即可低成本运行。即使每个token只激活49B参数，部署节点仍需容纳或分层调度完整模型权重；使用FP8可以减少权重存储压力，却不会自动解决百万上下文下的KV Cache、专家通信和并发调度问题。官方微调文档给出的最低参考配置也说明了其资源门槛：LoRA微调至少需要8机64卡，每卡显存至少96GB，每台机器CPU内存至少2TB；全量微调要求更高。具体条件见Hy4 preview微调说明。
企业怎样控制私有化部署成本
- 先用API验证任务价值：选择真实代码修改、跨文档分析或研究任务，记录完整任务成功率、人工接管次数、延迟和总token消耗，而不是只比较单次问答价格。腾讯公告显示，该模型也可通过腾讯云TokenHub和OpenRouter接入，适合在采购集群前完成验证，相关入口见腾讯官方公告。
- 按数据敏感度分层：普通任务调用托管服务，涉及核心代码、客户数据或内部知识库的任务再进入私有环境，避免为了少量敏感场景建设一套长期低利用率的大型集群。
- 优先评估FP8与推理框架：企业应分别测试FP8权重、vLLM和SGLang，观察首token延迟、持续输出速度、并发吞吐、跨节点带宽及长上下文显存占用，而不能只根据激活参数估算成本。官方支持范围可参考部署文档。
- 不要默认使用1M上下文：日常问答、短代码审查和固定模板处理可以限制上下文长度；只有跨仓库分析、长期Agent执行或大规模资料综合才启用百万窗口，以减少不必要的预填充计算和缓存压力。
- 建立可回退架构：用小模型承担分类、检索、格式转换等简单步骤，把Hy4 preview留给复杂规划、验证和高难度生成任务。这类大小模型协同通常比让770B模型处理全部请求更容易控制总体成本。
预览版能力仍需独立复测
腾讯披露，Hy4 preview在内部组织的163名专家、203个真实工程任务盲测中获得2.99分，略高于GLM 5.3的2.92分和Kimi K3的2.94分。不过，这些数据来自腾讯内部评测，任务构成、代理框架和运行预算都可能影响结果，不能直接等同于所有企业场景中的普遍领先。官方也明确称其为早期预览版本，并提示复杂任务中存在长思考和过度自我验证倾向，详见官方已知局限说明与发布公告。
总结
Hy4 preview兼顾百万上下文与部署成本的关键，是用770B总容量扩展能力上限，用49B稀疏激活控制单token计算，再通过稀疏注意力、IndexCache、FP8权重和专业推理框架减轻长序列及本地运行压力。但它并非低门槛模型，完整权重存储、专家并行通信、KV Cache和集群利用率仍是私有化部署的主要成本来源。对多数企业而言，更稳妥的路径是先用API完成业务评测，再根据数据合规、请求规模和长期利用率决定采用混合部署、FP8私有集群还是大小模型协同。
事件或资料日期：2026年8月28日。
资料来源：腾讯发布并开源Hy4 preview公告；腾讯混元Hy4 preview官方GitHub仓库；Hugging Face官方模型页面；官方微调与硬件要求文档。
