帖子详情0 条回复
vgotu · 2小时前

Swiss AI发布Apertus 1.5技术说明,开放多模态模型扩展至图像音频与26万上下文

瑞士AI Initiative于2026年10月15日发布Apertus 1.5说明,介绍8B和70B两种模型如何在原有Apertus 1.0基础上加入图像与音频理解,并将上下文窗口扩展至262144个词元。项目发布说明显示,Apertus 1.5继续采用完全开放路线,团队称其公开模型权重、训练数据、代码、训练流程和价值规范;不过,说明同时写明更新后的模型权重已于2026年7月24日上传,10月15日发布的内容更接近对技术细节和评测结果的集中说明。

技术上,Apertus 1.5没有增加独立的视觉或音频编码器,而是通过词元化方式把图像和音频转成与文本共同输入的离散词元。项目方称,512×512图像约对应1024个词元,音频按每秒40个词元处理,模型输入可以混合文本、图片和音频,但输出仍限于文本,不原生生成图片、音频,也不支持直接输入视频。技术报告称,8B模型增加约4万亿个训练词元,70B模型增加约2万亿个训练词元,并经过监督微调、长上下文训练、可验证奖励强化学习和偏好对齐等阶段。

这项更新的意义不只在于“支持更多输入”,还在于尝试用保持语言模型主体结构不变的方式扩展多模态能力。项目方称,这种设计可以复用文本训练基础设施,并减少训练阶段运行专用编码器的开销;同时,模型新增可选的思考模式和工具调用能力。Apertus团队还报告称,其多模态表现接近同规模开放权重模型,在文档、图表和空间理解等任务上具有竞争力,但专门的视觉和音频模型在感知质量及高资源语言转录方面仍然领先。上述成绩主要来自项目方公布的评测,尚不能等同于独立第三方结论。

值得关注的是,Apertus 1.5把“开放”延伸到了数据来源、训练配方和中间检查点,便于研究者复现实验和追踪模型能力变化;但模型需要通过许可和使用政策确认后访问,实际部署还依赖特定版本的Transformers或vLLM支持。因此,它更适合作为可审计、可本地部署的多模态基础模型案例观察,而不是已经全面替代专业视觉、语音或视频模型的成熟方案。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口