据 arXiv 页面，研究团队于2026年10月15日提交预印本《HyCo: Hybrid Drafting for Cost-Efficient Mobile-Cloud Speculative Decoding》，主题属于自然语言处理与大语言模型推理优化，目前标注为接受 ACL Rolling Review 审阅，尚不是正式同行评议结论。论文原文
发生了什么：设备—云端推测解码通常把小语言模型放在手机等终端生成候选词，再由云端大模型验证。HyCo提出混合草稿机制：一部分草稿深度交给大模型自身的多令牌预测头，并在设备端执行；另一部分候选分支则由小语言模型通过一次推理生成。云端返回多令牌预测头所需的隐藏状态、输入嵌入和键值缓存，减少服务器端重复执行顺序步骤。
论文报告，在单客户端、Galaxy S26 Ultra通过LTE/5G连接的测试中，相比服务器端多令牌预测自推测方案，HyCo在Spec-Bench上的服务器GPU每输出令牌时间减少38.6%，在32K令牌摘要任务中减少29.2%。在相同接受规则下，论文还报告其相较仅使用小语言模型生成草稿的方案多节省9.0个百分点，并达到1.9倍的交付速度。不过，相关结果来自每个系统三次Spec-Bench运行；这是受控实验，不等同于所有网络环境和终端设备上的稳定收益。
值得注意的是，HyCo并非单纯追求更激进的近似推理。论文同时给出了不放宽验证规则时的结果，在两个数据集上分别节省27.7%和11.9%。但其与Cloud+MTP方案的评测分数差异为正0.2分，配对95%置信区间为-0.9至+1.3，区间跨过零，不能据此断言性能优势已经明确建立。论文还提到，探索性翻译实验中另一种方案表现更好，说明不同任务的最优推测策略可能并不一致。
这项工作的主要价值，在于把移动端算力、云端模型状态和推测解码组合起来，试图同时缓解云端GPU开销与终端小模型草稿质量不足的问题。对实际部署而言，仍需继续观察端到端延迟、无线网络波动、能耗、隐私以及更多手机芯片和语言任务上的表现。由于该成果仍是预印本且缺少独立复现，当前更适合作为一种系统设计方向，而不是已经成熟的通用加速方案。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
