Google Research于2026年10月27日发布消息称，研究人员提出一种面向持续学习的“睡眠框架”，试图让大语言模型在部署后继续吸收新知识，同时降低更新旧能力时出现的灾难性遗忘问题。Google Research原文
该方法将模型运行划分为“清醒”和“睡眠”两个阶段：清醒阶段处理输入并暂存短期信息；睡眠阶段暂停接收新输入，利用离线计算把短期记忆整合进长期参数，并通过模型自生成的练习样本改进推理能力。技术路径包括扩展低秩专家模块、知识蒸馏、强化学习式模仿训练，以及对临时参数进行重置，以便为下一轮学习释放容量。
研究方还引入“梦境”阶段，让混合专家模型随机激活不同专家生成合成样本，再依据梯度信号筛选更有价值的数据进行训练。Google Research称，在其报告的实验中，该框架可支持最长约1000万令牌的长上下文知识整合，并在持续翻译、事实知识吸收和数学推理等任务上优于部分基线方法。相关数字和结论来自研究团队自述，尚不能据此判断其已适用于生产环境，也需要更多独立复现实验验证计算成本、稳定性和安全边界。
这项工作反映出持续学习的研究重点正在从单纯扩大预训练规模，转向设计模型部署后的记忆管理和周期性更新机制。若方法能够在不覆盖旧知识的情况下持续写入新能力，未来可能减少频繁全量再训练的需求；但参数扩展、合成数据质量、错误知识累积以及离线更新的评测与审计，仍是实际应用必须解决的问题。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
