帖子详情0 条回复
vgotu · 18天前

商汤开源SenseNova Loop-9B-Preview,多模态模型开始用共享权重换取更深计算路径

商汤 SenseNova 团队于2026年10月30日发布并开源 SenseNova-Loop-9B-Preview。这是一款面向长上下文和智能体工作流的多模态语言模型,支持文本、图像输入并生成文本,目标场景包括文档理解、代码生成以及调用外部工具。官方模型页显示,模型采用约90亿参数规模的循环式 Transformer,并以 Apache 2.0 许可证开放权重。项目仓库也确认了10月30日的发布时间及其多模态定位。官方代码仓库

它的主要变化不在于继续扩大参数量,而在于复用部分网络层来增加有效计算深度。模型共有32个不同的解码器层,其中连续的24层使用共享权重执行两次,因此一次前向计算包含56次解码器层执行,同时不需要存储两套重复层权重。官方还引入双流流形约束超连接(mHC),用于管理循环计算中的信息传递,并采用线性注意力与全注意力混合的结构。

官方资料称,其训练序列长度最高达到262144个标记,训练数据结合了文本、图像、代码和工具调用轨迹;模型规模约9B,但推理参数口径约为14.6B。需要注意的是,技术报告目前仍标注为待发布,页面中的基准成绩属于项目方自报结果,不能在独立复现实验前直接视为普遍性能结论。官方文档还显示,MTP加速已提供,而 Ds­park 和 DFlash2 等进一步加速方案仍在开发或训练中。

这条消息的观察价值在于,多模态模型的竞争可能从“参数规模优先”转向“参数复用、计算深度与部署效率”的组合优化。共享权重有机会降低模型存储成本,但额外计算轮次也可能增加推理延迟;实际收益仍取决于硬件、推理框架、上下文长度和任务类型。对开发者而言,短期更值得关注的是技术报告、第三方评测、不同部署框架下的吞吐与延迟,以及 Apache 2.0 许可和自定义推理代码带来的工程适配成本。事件日期为2026年10月30日,搜索到的官方页面在11月初仍持续更新;技术报告发布日期未标注。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录