10月20日，llm-d项目贡献者发布1.0版本。该项目由Red Hat、IBM、Google Cloud、CoreWeave和NVIDIA等共同推动，现由云原生计算基金会（CNCF）治理，目标是让企业在自有基础设施上更高效地部署和运行大语言模型推理服务。IBM Research原文
这次更新的重点不是推出新模型，而是把分布式推理从单点性能优化推进到生产运维阶段。1.0版本加入多租户服务质量控制、零停机升级和面向智能体的服务能力，可在同一套基础设施上协调延迟敏感的用户请求与突发性较强的智能体任务。其技术基础包括前缀缓存感知路由、KV缓存卸载、批处理推理、预填充与解码分离，以及跨加速器的专家并行。
对于多轮智能体任务，系统会尽量把后续请求路由到仍保留相关上下文的副本，减少重复计算。IBM称，在一项智能体编程工作负载测试中，前缀感知路由捕获了97%的可用缓存复用；另一项演示让自托管系统同时运行3000个软件工程智能体，成本按其测试口径约为同类商业API的五分之一至十分之一。IBM Research技术说明
Red Hat进一步介绍，llm-d 1.0面向多云、异构硬件和多模型服务器环境，项目已有500多名贡献者，来自25个以上组织。其新闻稿还称，近期测试显示，针对上下文密集型智能体工作负载，成本可降低约5至10倍，输出吞吐量可提高约3倍。Red Hat公告
需要注意的是，上述成本、吞吐量和缓存复用数据均来自项目参与方披露的特定测试或演示，不代表所有模型、硬件、云价格和业务流量下都能复现。对行业而言，llm-d 1.0的意义在于，AI竞争正从单纯追求模型能力转向同时控制推理成本、资源调度、服务连续性和供应商依赖；企业评估时仍应结合自身流量结构、硬件折旧、运维能力与实际基准测试判断收益。
事件及资料日期：事件发生日期为2026-10-20；IBM Research与Red Hat相关原文发布日期均为2026-10-20。文中性能和成本数据为项目方披露，未作独立复核。
参考来源：
- llm-d 1.0 hardens open-source AI inference for production - IBM Research 2026-10-20
- llm-d 1.0 Advances Open, Cost-Efficient AI Inference for Production Scale 2026-10-20
由 AI 整理，仅供参考；请以原始来源为准。
