在人工智能技术迅猛发展的当下，AI基础设施正步入一个全新的关键发展阶段。过去，生成式AI基础设施的发展主要围绕加速器规模展开，重点聚焦于GPU、NPU以及定制AI加速器的部署，同时关注供电、散热和互联能力。然而，这一阶段虽未完全结束，却已难以满足当下AI发展的需求。
如今，AI基础设施的发展迈向了机架级系统组合的新阶段。通过异构AI机架，不同计算资源能够针对智能体AI工作流的各个阶段进行专项优化。由CPU、加速器、内存和网络设备组成的专用机架，正被整合成吉瓦级的AI超级集群。每一台机架都如同一个高密度计算引擎，承担着工作流中的特定任务。
AI推理领域也发生了显著变化，正从单次模型调用向多步骤智能体流水线演进。这使得基础设施设计的重心从单纯聚焦加速器规模，转变为更宏观的系统组合问题，即如何为智能体AI工作流的各个阶段匹配适合的计算资源。在这个过程中，加速器依然是预填充、解码与模型执行的核心力量，而CPU则在外围编排层发挥着关键作用，支撑智能体跨工具、API、检索系统、云原生服务开展任务分发与多轮模型调用。
这种转变意义深远，因为推理的运行结构发生了质变。传统推理大多是线性流程，请求进入系统后，模型生成响应，单次事务便结束。而智能体AI的运行模式截然不同，智能体能够自主规划任务、检索数据、调用工具、运行代码、请求API，基于中间结果进行推理，并循环执行多次模型调用，最终输出结果。
这一变化正在重塑数据中心的整体形态。越来越多的工作负载不再局限于神经网络前向传播，系统的更多算力消耗在加速器、内存、存储、网络与软件服务的跨组件协同调度上。基础设施的大量架构决策，也从服务器层级转向了机架层级。
有专家指出，CPU并非通用标准化产品，其价值竞争也并非单一维度。在异构AI机架中，不需要普适型的通用CPU，而是需要针对专项任务优化的CPU。这些CPU要能够持续为加速器供给数据、承载内存密集型的解码运算、处理模型调用间隙的智能体任务。
随着AI基础设施在推理流水线各阶段日趋专用化，预填充与解码流程逐步解耦成为一个典型特征。预填充阶段负责处理输入提示词、构建KV缓存，属于计算密集型环节，高度依赖加速器算力。解码阶段则是逐词元生成响应内容，随着上下文长度扩张，该环节会持续受到内存带宽、内存容量、KV缓存数据搬移的制约。
异构AI机架需要整合各类专用组件，使其协同形成统一的完整系统。它要能够将请求路由至对应计算层级，在预填充与解码之间高效流转数据，管理KV缓存传输、维护会话状态、执行非模型类任务，并在整条推理流水线中严格保障服务等级目标（SLO）。
基于这样的需求，行业开始以系统级视角审视AI基础设施。数据中心可承载的有效智能体任务规模，并非仅由加速器算力决定，还取决于CPU算力、内存带宽、网络性能、软件编排能力，以及真实工作负载压力下的系统全局均衡能力。架构设计的核心问题，已从“可部署多少加速器”转变为“如何为智能体AI工作流的各阶段做专门的配置与协同调度”。
在这种新的架构下，CPU的应用场景不再单一，而是呈现出多元化分工。异构AI机架中出现了三类CPU角色：第一类是预填充主机CPU，负责统筹推理流程中计算密集型阶段；第二类是解码主机CPU，管理延迟敏感、内存密集型的推理阶段；第三类是智能体/工作节点CPU，作为计算层，承载模型调用间隙的智能体任务。这三类角色彼此关联，不能用同一套评估标准来衡量。
这一认知的重构十分重要。以往行业普遍将“主机CPU”视为单纯的辅助组件，但在机架级异构AI架构中，这种认知过于片面。基础设施团队需要依据推理流水线各层级的差异化任务，针对性评估CPU算力。
依托新的系统级设计思路，基础设施团队可根据真实工作负载特征，对各计算层级进行合理的资源配比。例如，长提示词、短输出的工作负载，需要更强的预填充算力；长会话聊天机器人更依赖解码算力与内存带宽；企业级多智能体工作流，则需要大量工作节点CPU算力支撑工具调用、信息检索、策略校验与应用编排。
与此同时，异构基础设施长期存在的核心壁垒正在被打破。传统多架构部署存在软件适配阻力，包括跨平台应用移植、软件栈验证、性能调优、DevOps流程适配等繁琐工作。而智能体开发模式大幅简化了上述流程，AI辅助的移植、测试、验证与运维能力，有效降低了大规模多架构环境的落地周期与风险。
这一变革使得架构设计的核心逻辑发生了改变。基础设施团队无需再为降低运维复杂度，将所有工作负载强行适配单一默认架构。如今可针对AI系统的不同层级匹配最优架构，并通过现代化软件自动化能力，隐性管控系统复杂度。
这一转变还重塑了AI基础设施的经济模型。行业关注点不再局限于“哪款加速器的模型吞吐量最高”，而是聚焦整机架如何将功耗、内存、I/O、软件调度资源高效转化为有效AI算力产出，这是一个系统层面的问题，而非单一组件问题。
在这样的背景下，Arm架构的优势得以充分释放。当前AI基础设施正向异构计算、高并发、功耗受限规模化扩容、软件定义编排演进，此类场景高度依赖每瓦性能、广泛的生态覆盖与架构灵活性，而这正是Arm的核心优势。Arm AGI CPU专为适配这场行业变革设计，将Arm云基础设施技术路线延伸至新一代智能体AI系统，让CPU在任务编排、内存协同、加速器管理与机架级能效优化中承担核心职责。
异构AI机架的核心价值在于多项能力的集成优势，如高核心密度、高内存带宽、高速I/O、原生支持CXL、成熟的软件生态，以及数据中心功耗约束下的高能效表现。这些特性精准匹配了机架级AI的三类CPU角色。Arm丰富的生态系统，为基础设施开发者提供了多元选择。基于Arm架构的CPU已广泛应用于云计算、网络、边缘侧与AI系统。合作伙伴可根据定制化需求与上市周期，灵活选用Arm IP、Arm计算子系统或量产芯片方案。随着AI基础设施分化为多类专用且互联互通的架构层级，该灵活性的价值愈发凸显。
行业正跳出“加速器优先”的单一AI基础设施建设思路。加速器依旧关键，但仅是系统的组成部分。未来的核心差异化能力，将体现在整机架的编排调度能力、资源利用效率，以及系统在真实智能体工作负载下的运行稳定性。在智能体AI时代，机架即系统，异构架构成为行业常态，CPU也成为AI数据中心架构选型中至关重要的一环。
