导语：生成式 AI、推理模型与智能体应用持续扩大算力需求，AI 芯片的竞争重点已不再只是单颗芯片的峰值算力，而是转向计算核心、存储、互连、封装、网络、软件和散热的系统级协同。评价新一代算力架构，也应从“每秒多少次运算”转向真实吞吐量、响应延迟、能效、部署密度以及单位令牌成本。
从单芯片性能走向机架级算力
早期 AI 加速主要围绕 GPU 或专用矩阵处理器展开，如今前沿架构开始把整个机架乃至计算集群视为统一计算单元。CPU 负责数据预处理与任务调度，加速器执行矩阵运算，DPU、网卡和交换芯片承担通信及存储卸载，再通过统一的软件栈完成资源编排。以 NVIDIA Vera Rubin 为例，其设计强调 GPU、CPU、NVLink、网络、DPU和软件的协同，而不是孤立优化某一颗芯片，这反映出行业正在进入“系统决定有效算力”的阶段。官方技术说明 citeturn1search8turn1search10
机架级架构的核心价值，是减少大模型并行时的数据搬运和等待。当模型无法装入单个加速器时，张量并行、流水线并行、专家并行都需要频繁通信。如果互连速度、拓扑或集合通信效率不足，增加芯片数量反而可能降低利用率。因此，扩展能力必须同时覆盖芯片内部、芯片之间、服务器之间和数据中心网络，形成完整的 scale-up 与 scale-out 体系。
低精度计算成为提升吞吐量的主线
AI 芯片正在从 FP32、FP16 和 BF16，进一步向 FP8、FP6、FP4及微缩放格式演进。低精度能够减少权重、激活值和 KV 缓存的存储空间，同时降低数据传输量，并让矩阵计算单元在相同功耗下完成更多运算。AMD MI350 系列基于第四代 CDNA 架构，支持 MXFP6 与 MXFP4；Google Ironwood TPU 则提供 FP8 硬件加速。这说明低精度已从推理优化手段逐步扩展到训练场景。AMD 产品资料Google Cloud 优化指南 citeturn1search12turn1search20
不过，位宽越低并不意味着实际效果必然越好。不同模型对量化误差的敏感程度不同，训练还要考虑梯度动态范围、缩放粒度和累加精度。企业部署时应同时验证模型质量、首令牌延迟、持续输出速度和整体吞吐量，避免仅依据理论峰值选择芯片。
存储墙推动 HBM 与多层内存演进
大语言模型特别是长上下文和智能体推理，会产生规模可观的权重访问与 KV 缓存需求。很多推理任务并非受限于矩阵单元数量，而是受限于数据能否及时送达计算核心。因此，新一代加速器普遍提高 HBM 容量和带宽，并采用片上 SRAM、HBM、主机内存及外部存储组成多层内存体系。AMD MI350 系列提供 288GB HBM3E 和 8TB/s 带宽；Google TPU7x 每芯片配置 192GB HBM，并采用双芯粒设计。MI350X 规格TPU7x 架构文档 citeturn1search13turn1search19
未来优化重点将从“增加内存”进一步转向“管理数据移动”。算子融合、预取、缓存复用、分片策略、激活重计算和 KV 缓存卸载，都会直接影响有效带宽。软件若不能理解硬件的内存层次，即使配置更大的 HBM，也可能因访问模式低效而无法形成真实性能优势。
芯粒与先进封装成为扩展基础
随着大尺寸芯片的制造成本和良率压力上升，Chiplet 正逐渐成为高端 AI 芯片的重要路线。设计者可以把计算、输入输出、缓存或互连功能拆分到不同裸片，再通过先进封装和高速 D2D 接口集成。其优势包括提高复用性、允许不同模块采用更合适的工艺，并突破单一裸片的面积限制；挑战则在于封装带宽、延迟、供电、热密度和软件可见性。
Google Ironwood TPU7x 已采用双芯粒架构，每个芯粒拥有独立计算核心和 HBM 空间，并通过高速裸片间接口连接。此类设计意味着开发者需要更重视拓扑感知：模型切分不仅要考虑设备数量，还应尽量减少跨芯粒、跨节点和跨机架通信。未来编译器与运行时将承担更多自动映射工作，向上层框架隐藏复杂的物理结构。Google Cloud 官方文档 citeturn1search18
GPU、ASIC 与异构计算长期并存
通用 GPU 拥有成熟的软件生态和较强的工作负载适应能力，适合快速变化的模型研究与多类型任务；TPU及其他专用 ASIC 可以围绕矩阵计算、稀疏计算和特定数据流进行定制，在规模化、相对稳定的负载中追求更高能效。与此同时，CPU、NPU、GPU和专用推理芯片共同工作的异构系统，将覆盖云端训练、在线推理、边缘计算和端侧 AI 等不同场景。
对企业而言，选择架构时不宜只比较硬件参数，还要评估框架支持、编译器成熟度、算子覆盖率、容器与集群管理能力、故障恢复以及供应可获得性。例如 TPU7x 支持通过 GKE 或 Compute Engine 使用，并面向大规模密集模型、MoE、预训练和解码密集型推理；AMD 则持续围绕 ROCm 建设开放软件栈。软硬件适配成本往往会成为总体拥有成本的重要组成部分。TPU7x 训练指南ROCm 架构资料 citeturn1search21turn1search15
能效、散热与可运维性决定规模上限
高密度 AI 集群对供电、液冷、机房网络和故障维护提出了更高要求。单芯片性能提升若伴随更高功耗，未必能改善数据中心的整体产出。未来更有意义的指标包括每瓦令牌数、单位机架吞吐量、服务级别目标下的成本以及系统可用率。动态功耗管理、液冷、光互连、计算与存储卸载，以及机架级健康监控，将与芯片设计同等重要。
面向实际部署的评估建议
- 按负载测试：分别评估预训练、微调、批量推理、实时推理和长上下文任务，避免用单一基准代表全部场景。
- 关注有效利用率：记录计算单元利用率、HBM 带宽、互连占用和通信等待时间，定位真实瓶颈。
- 计算完整成本：将服务器、网络、存储、功耗、制冷、软件迁移和运维成本一并纳入。
- 保留可移植性：优先采用主流框架、标准模型格式和容器化部署，降低对单一硬件平台的长期锁定风险。
总结
AI 芯片算力架构正在形成四条清晰主线：计算精度持续降低，HBM 与内存层次不断强化，Chiplet 和先进封装扩大集成规模，机架级软硬件协同取代单芯片竞赛。下一阶段的领先者未必只是拥有最高峰值算力的厂商，而是能够在真实模型中平衡计算、存储、通信、能效和软件生态的平台。对使用者而言，最可靠的决策依据也不是参数表上的单项冠军，而是面向自身业务验证端到端性能与总体拥有成本。
