IBM公布TelumII处理器和IBM Spyre加速器架构

IBM 在 Hot Chips 2024 大会上公布了即将推出的 IBM Telum II 处理器和 IBM Spyre 加速器的架构细节。这些新技术旨在显著扩展下一代 IBM Z 大型机系统的处理能力，通过新的 AI 集成方法实现传统 AI 模型和大型语言 AI ​​模型的加速。随着许多利用大型语言模型 (LLM) 的生成式 AI 项目从概念验证过渡到生产，企业对节能、安全和可扩展解决方案的需求已成为重中之重。

根据摩根士丹利的研究，生成式人工智能的电力需求预计在未来几年内每年将增长 75%，预测表明到 2026 年人工智能的能源消耗可能与西班牙相当。这促使 IBM 客户优先考虑支持适当规模的基础模型和混合设计人工智能工作负载方法的架构决策。

IBM Telum II 处理器旨在为下一代 IBM Z 系统提供支持。它具有更高的频率、更大的内存容量、40% 的缓存增长以及集成的 AI 加速器核心。新处理器引入了一致连接的数据处理单元 (DPU)，旨在加速大型机上网络和存储的复杂 IO 协议。DPU 简化了系统操作并提高了主要组件的性能，使 Telum II 处理器非常适合支持 LLM 和行业复杂交易需求的企业计算解决方案。

IBM Spyre Accelerator 与 Telum II 处理器相得益彰，可提供额外的 AI 计算功能。Telum II 和 Spyre 芯片共同构成了一个可扩展的架构，支持 AI 建模的集成方法——将多个机器学习或深度学习 AI 模型与编码器 LLM 相结合。这种集成方法利用每个模型架构的优势，提供比单个模型更准确、更可靠的结果。IBM Spyre Accelerator 在 Hot Chips 2024 上作为预览版推出，将作为附加选项提供。它通过 75 瓦 PCIe 适配器连接，可扩展以满足客户需求。

IBM Z 和 LinuxONE 产品管理副总裁 Tina Tarquinio 强调了 IBM 致力于走在技术趋势前沿，尤其是人工智能日益增长的需求。她表示，Telum II 处理器和 Spyre 加速器旨在提供高性能、安全且节能的企业计算解决方案。这些经过多年开发的创新将被引入 IBM 的下一代 IBM Z 平台，使客户能够大规模利用 LLM 和生成式人工智能。

Telum II 处理器和 IBM Spyre Accelerator 将由 IBM 的长期合作伙伴三星代工厂使用其高性能、节能的 5nm 工艺节点制造。这些技术将共同支持一系列先进的 AI 驱动用例，旨在释放商业价值并创造新的竞争优势。例如，通过将 LLM 与传统神经网络相结合的集成 AI 模型，可以实现家庭保险索赔中增强的欺诈检测。此外，对可疑金融活动的高级检测可以帮助支持遵守监管要求并降低经济犯罪风险。同时，AI 助手可以加速应用程序生命周期、传递知识并提供代码解释和转换。

Telum II 处理器将配备八个高性能内核，运行频率为 5.5GHz，每个内核的二级缓存为 36MB，片上缓存容量增加 40%，总计 360MB。虚拟四级缓存将为每个处理器抽屉提供 2.88GB，比上一代增加 40%。集成的 AI 加速器可实现低延迟、高吞吐量的交易内 AI 推理，与上一代相比，每个芯片的计算能力增加了四倍。此外，集成在 Telum II 芯片中的新型 I/O 加速单元 DPU 旨在通过提高 50% 的 I/O 密度来改善数据处理，从而提高 IBM Z 在大规模 AI 工作负载和数据密集型应用程序方面的整体效率和可扩展性。

IBM Spyre Accelerator 是一款专门打造的企业级加速器，旨在处理复杂的 AI 模型和生成式 AI 用例。它具有高达 1TB 的内存，分布在常规 IO 抽屉中的八张卡上，支持整个主机的 AI 模型工作负载，同时每张卡的功耗不超过 75W。每个芯片都有 32 个计算核心，支持 int4、int8、fp8 和 fp16 数据类型，可实现低延迟和高吞吐量的 AI 应用程序。

Telum II 处理器将为 IBM 的下一代 IBM Z 和 IBM LinuxONE 平台提供动力，并将于 2025 年上市。目前处于技术预览阶段的 IBM Spyre Accelerator 预计将于 2025 年上市。