研究团队在10月9日提交的一篇预印本中提出“连续比特流扩散”（CoBit）的多模态扩展，试图用同一套二进制表示、Transformer骨干、按位预测头和二进制评分匹配目标，处理不同模态之间的联合生成与条件生成。论文原文
这项工作的核心不是把所有领域训练成一个通用模型，而是针对图像—文本、语音—文本和蛋白质序列—结构分别训练模型，同时保持相同的训练与采样协议。研究者将离散符号直接或经冻结编码器转换为比特流，再通过掩码决定哪些内容作为条件、哪些内容需要生成。这样，同一个模态对模型可以支持从图像生成文本、从文本生成图像，或从噪声共同生成两种模态。
在受控的MNIST-Sum实验中，论文报告图像到文本的精确匹配率为97.56%，文本到图像时四个指定数字全部正确的比例为99.95%，从噪声联合生成且图像与算式相互一致的比例为99.46%。这些结果主要证明方法在结构简单、评价明确的任务上可行，不能直接代表开放世界视觉语言能力。论文原文
在语音—文本实验中，研究者称一个模型可执行语音合成、识别、续写和语音文本联合生成；联合生成结果中，文本与生成语音自动转写之间的词错误率为3.5%。在蛋白质实验中，模型支持正向折叠、逆向折叠及序列—结构联合生成，论文报告100至500个残基蛋白的平均自洽TM-score为0.911。上述数字均为论文作者的实验结果，仍需关注数据集、解码器、评测流程和外部复现情况。
从技术角度看，CoBit的价值在于减少为每一种模态组合单独设计接口、损失函数和采样程序的需要。其限制也很明显：不同模态仍使用各自的编码器和解码器，模型仍按模态对分别训练；统一的是生成协议和部分网络接口，而不是已经验证的跨领域通用检查点。此外，这是一篇10月9日提交的预印本，尚未据此确认同行评审结论或产品化性能。
事件及资料日期：事件日期为2026-10-09，即论文首次提交日期；本次整理日期为2026-10-18。论文评审状态及后续实验进展未独立核实。
资料来源：arXiv《Multimodal Co-Generation with Continuous Bitstream Diffusion》，发布日期2026-10-09。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
