让64张卡像一张卡！浪潮信息发布新一代AI超节点，支持四大国产开源模型同时运行

克雷西
2025-08-11
15:11:15

来源：量子位

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

从DeepSeek R1到Kimi K2，从Qwen到GLM，国产开源模型不仅在Hugging Face热度榜等榜单上频频霸榜，更在推理能力、长文本处理、多模态理解等关键指标上持续刷新纪录。

性能飞跃的背后是参数规模的急剧膨胀，当前主流开源模型的参数量已经突破万亿大关，DeepSeek-R1、Kimi-K2等模型动辄需要数TB的显存空间。

更重要的是，随着Agentic AI（代理式人工智能）成为新范式，多模型协同和复杂推理链带来计算与通信需求的爆炸式增长。

面对这一挑战，浪潮信息发布了面向万亿参数大模型的超节点AI服务器“元脑SD200”。

它可以在单机内同时运行DeepSeek R1、Kimi K2等四大国产开源模型，支持超万亿参数大模型推理以及多智能体实时协作。

并且在实际测试中，其64卡整机推理性能实现了超线性扩展，是真正意义上的算力聚合突破。

64张卡，1个超节点

元脑SD200将64张卡融合成一个统一内存、统一编址的超节点，把“整机域”的边界重新划定在了多主机之上。

它以3D Mesh开放架构为骨架，底层由自研的Open Fabric Switch贯通，将分散在多台主机里的本土GPU拉进同一个高速互连域。

在这个统一域里，通过远端GPU虚拟映射技术，实现对64卡的统一编址，一次性把地址空间扩增到原来的8倍，整机实现4TB显存与64TB内存的超大资源池，为长上下文与海量KV Cache提供了充足的空间。

并且元脑SD200中的计算与数据在原生内存语义下对齐，实现了百纳秒量级的低延迟通信，在小数据包通信这一推理常态场景里，端到端时延优于业界主流方案。

这直接支撑起了元脑SD200单机承载超大模型的能力——在同一台“超节点”里，SD200可运行超万亿参数规模的大模型。

除了硬件架构设计，元脑SD200也实现了系统与框架的协同优化，其中内置的Smart Fabric Manager会根据负载特征自动构建全局最优路由，把拓扑选择、拥塞规避与算子模式的策略联动起来，尽量把通信成本锁在“局部最短路径”上。

此外，元脑SD200支持开放的PD分离框架，可以把大模型推理的Prefill与Decode解耦并行，能够实现更高效的推理效率，使计算系统的算力性能得到充分发挥。

软件生态层面，它兼容PyTorch、vllm、SGLang等主流计算框架，可以快速迁移既有模型与智能体工作流，无需从头改写代码。

得益于软硬协同优化，当64卡一同上阵进行全参推理时，元脑SD200对DeepSeek R1的推理性能实现了约3.7倍的超线性扩展，满机运行Kimi K2全参模型推理性能超线性提升比为1.7倍。

总之，元脑SD200容量够大、延迟够低、栈足够开放，既能顶住万亿级模型的密集推理，也能支撑多智能体的高并发交互。

Agentic AI时代，Infra面临新需求

除了规模越来越大，推理能力越来越强，大模型也正在经历从单纯的文本生成到多模态、智能体的范式转变。

并且智能体AI不再是单一模型的独立运行，而是需要通过多模型协同和复杂推理链来完成任务。

一个典型的智能体任务可能需要调用代码生成模型、逻辑推理模型、知识检索模型等多个专业模型，它们之间需要实时交互、相互验证、协同决策。

这种新范式下，推理过程需要生成比传统模型多近百倍的token，计算量和通信量都呈现爆炸式增长，给整个系统架构带来根本性困境。

当参数规模快速突破万亿级别，模型必须拆分到几十甚至上百张卡上时，原本在单机内部的高速通信变成了跨机的网络传输，通信就成为了更严峻的挑战。

传统的InfiniBand网络虽然带宽可观，但在处理推理过程中大量的小数据包时，延迟问题变得极为突出。每一次跨机通信都可能带来额外延迟，而在需要频繁同步的推理过程中，这些延迟会累积成严重的性能瓶颈。

智能体的多模型实时交互需求更是雪上加霜——当多个万亿级模型需要实时协作时，传统架构已经完全无法应对。

元脑SD200超节点的3D Mesh架构正是在这种背景下应运而生。它通过将多个主机的GPU资源整合成一个统一的计算域，从根本上解决了显存容量和通信延迟的双重困境。

远端GPU虚拟映射技术，让分布在不同主机上的GPU能够像在同一主机内一样高效协作，8倍的地址空间扩增确保了即使是数万亿参数的模型也能完整加载和高效运行。

随着摩尔定律的放缓，硅基芯片面临物理极限，继续追求单芯片性能的大幅提升，将变得越来越困难和昂贵。

Scale Out虽然在扩展性上看似无限，但其固有的高延迟问题在面对万亿模型的高频通信需求时显得力不从心。

因此，Scale Up成为了必然的选择，元脑SD200也正是选择Scale Up路径，通过原生内存语义实现百纳秒级低延迟。

浪潮信息副总经理赵帅指出，“超节点本质上是系统化思维的产物，它不是某一个点的突破，而是在现有技术、生态和成本约束下，从系统层面去最大化用户价值”，即在当前高速信号传输的物理限制下，需要在有限的物理空间内聚集尽可能多的计算资源。

元脑SD200通过创新的系统化设计，在单机内实现了64路GPU的高速互联，实现了超低延迟通信，这是对物理定律和工程实践的有效平衡。

推动“开源开放”生态链条

除了优异的性能表现，元脑SD200从设计之初就全面采用了开放架构。整个系统基于OCM（开放算力模组）与OAM（开放加速模块）两大架构打造。

OCM标准由中国电子技术标准化研究院发起，浪潮信息、百度等18家算力产业上下游企业共同参与编制。

该架构围绕支持“一机多芯”设计，可快速适配Intel、AMD、ARM等多种计算平台。

OAM则由开放计算项目（OCP）社区推动，是专为高性能计算与AI加速场景设计的开放模块标准。

该架构统一了加速卡的尺寸、电气接口和散热设计，使来自不同厂商的GPU、NPU等AI加速器可在同一系统中协同运行。

通过高速互联技术，来自不同厂商的加速卡不仅能够兼容运行，更能实现低延迟直连，有效满足大模型训练与推理对带宽的极致要求。

浪潮信息将OCM与OAM架构有机融合，为业界提供了一种开放的超节点技术架构，使得上游算力厂商都有机会参与超节点共建，下游用户也拥有更多的算力选择。

浪潮信息选择开放架构不仅是技术选择，更是产业战略。

这种开放性为用户提供了多元化的选择自由——通过提供多种算力方案，从应用角度给客户更多选择。

另一个价值是低迁移成本，元脑SD200提供了算子级别的全面支持，基于PyTorch等主流框架开发的模型可以直接在其上运行，无需重新开发或大规模改造。

元脑SD200的目标，是让更多企业能够用得起、用得好超节点系统，真正实现智能平权。

元脑SD200通过开放架构与开源模型的深度结合，不仅为万亿参数大模型提供了可靠的基础设施支撑，更推动了“智能平权”的加速落地。

通过开放促进创新，通过创新推动系统性能提升，通过规模化降低成本，浪潮信息正在让更多企业和开发者能够便捷利用顶尖AI技术，共享智能时代的发展红利。

Read More