导语：随着生成式 AI 进入规模化推理阶段，数据中心的瓶颈正在从“有没有足够算力”转向“能否以可接受的功耗、时延和成本持续提供算力”。传统 GPU、NPU 通常需要在存储器与计算单元之间频繁搬运模型权重和中间数据，而存算一体（Compute-in-Memory，CIM）尝试让计算靠近甚至直接发生在存储阵列中。它有望带来显著的能效红利，但硬件更换只是第一步，软件适配、机房改造和业务迁移同样会形成新的成本。⚙️
一、存算一体为何能够提高推理能效
AI 推理包含大量矩阵乘加操作。传统架构需要先从外部内存读取权重，再送入计算核心，结果还可能反复写回缓存或显存。模型规模越大、并发请求越多，数据搬运带来的带宽压力与能耗就越明显。存算一体的基本思路是让权重驻留在存储阵列，并在原地或近端完成矩阵运算，从而缩短数据路径、降低传输次数。IBM 的模拟 AI 芯片研究表明，针对特定语音识别推理任务，原型系统能够在保持相近精度的情况下获得明显的能效优势，但该结果属于特定芯片、模型和测试条件，不能直接等同于所有数据中心工作负载的实际收益。[1][2]
从技术路径看，存算一体并不是单一方案。数字存算通常更容易保持计算确定性，并与现有数字芯片流程衔接；模拟存算可利用电流、电压或电导状态并行完成运算，理论能效潜力更高，但需要处理噪声、器件波动和模数转换开销。基于 RRAM 等器件的研究已经证明了存内神经网络推理的可行性，同时也说明实际性能依赖器件、电路、架构和算法的共同优化。[3]
二、芯片能效提升不等于数据中心同比例节电
芯片公布的 TOPS/W 往往反映特定精度、算子和利用率下的局部指标，而数据中心需要关注整机、机柜乃至集群级能效。CPU 调度、网络通信、内存容量、数据预处理、模型路由、冗余电源与制冷系统都会消耗能源。如果模型中大量操作无法映射到存算阵列，任务就必须在存算芯片、CPU 和其他加速器之间切换，额外的数据转换与通信可能抵消部分收益。
因此，评估存算一体不能只看峰值算力，应重点测量真实业务下的每次请求能耗、每个 Token 能耗、P95/P99 时延、单位机柜吞吐量和有效利用率。对于权重相对稳定、矩阵运算占比高、可接受低精度计算的推理任务，收益通常更容易体现；对于频繁更新参数、控制流复杂或要求高精度数值计算的业务，迁移价值则需要单独验证。🔋
三、数据中心迁移成本会发生哪些变化
存算一体可能减少长期电费、散热压力和单位推理所需服务器数量，但会增加前期迁移支出。首先是硬件采购成本，包括加速卡、服务器主板、互连设备以及备件体系；若芯片功率密度、接口或散热形式与现有服务器不同，还可能涉及机柜供电、风冷或液冷系统调整。
其次是软件栈成本。现有 AI 平台多围绕 CUDA、通用算子库和成熟推理引擎构建，而存算一体芯片通常需要专用编译器、算子映射工具、量化策略、运行时和监控组件。模型并非简单复制过去就能运行，团队还要完成算子替换、图优化、精度校准、异常回退与性能调优。相关研究普遍把编程模型、系统协同和标准化视为存算一体规模化部署的重要挑战。[4]
第三是业务切换成本。推理服务通常具有明确的可用性目标，企业不能为了更换芯片而长时间停机。较稳妥的方式是保留原有 GPU 集群，以灰度流量验证新平台，并建立双版本模型、结果比对和自动回退机制。这会使过渡期出现新旧两套资源并存，短期容量成本反而可能上升。
四、迁移预算应从“买芯片”转向全生命周期核算
企业可采用三阶段方式控制风险：
- 小规模验证：选择一个矩阵运算占比高、模型版本稳定且能够量化的推理服务，验证精度、吞吐、尾延迟、功耗和故障恢复能力。
- 机架级试运行：把服务器、网络、制冷、调度平台和运维监控纳入测试，计算真实的每请求成本，而不是只比较芯片参数。
- 分层迁移：优先迁移适配度高的算子或模型，其余任务继续由 GPU、CPU 或传统 NPU 承担，形成异构集群，避免一次性替换全部基础设施。
预算模型至少应覆盖硬件折旧、软件授权与开发、机房改造、人员培训、双平台并行、故障风险和退出成本。只有当节省的能源、空间与服务器数量能够在可接受周期内覆盖这些新增投入时，迁移才具备商业合理性。📊
五、落地时最容易忽视的风险
- 精度风险：低比特量化、模拟噪声和器件漂移可能影响模型输出，需要以业务指标而非单一基准集验收。
- 生态锁定：专用编译器和算子格式可能提高更换供应商的难度，应关注模型格式、接口和工具链的可移植性。
- 扩展风险：单芯片表现优秀，不代表跨卡通信、参数切分和多租户调度也能保持相同效率。
- 供应风险：量产良率、交付周期、固件维护和长期备件能力都会影响总体拥有成本。
总结
存算一体为 AI 推理提供了一条减少数据搬运、突破内存墙并提高能效的现实路径，但它并不是“换一块芯片就立即降本”的方案。能效收益主要取决于模型结构、计算精度、算子覆盖率和系统利用率；迁移成本则会从单纯采购算力，扩展到软件重构、机房适配、双平台运行和人才建设。更可行的策略不是全面替代 GPU，而是从适合的推理任务开始，以可量化的单位请求成本进行灰度验证，再逐步构建存算一体、GPU 与 CPU 协同工作的异构数据中心。🚀
