d-Matrix采用NVIDIA NVLink Fusion,将Raptor XPU接入NVIDIA AI基础设施
d-Matrix宣布将用NVLink Fusion把下一代Raptor XPU连接到NVIDIA的AI基础设施平台,包括NVLink scale-up、Spectrum-X scale-out网络和MGX机架架构。
AI解读:d-Matrix这次做的事,是把自家下一代Raptor XPU塞进NVIDIA已经铺好的机架和网络体系里。它不用再自己从高速接口、机架设计一路验证到供应链,而是直接借用NVLink Fusion、Spectrum-X和MGX。
对真正要部署推理的客户来说,变化在机架层面:同一套机架可以同时支持GPU、CPU和XPU,不必为每种处理器单独建一套架构。d-Matrix的机架还计划与NVIDIA Vera Rubin NVL72这类GPU系统协作,用于分离式推理。
不过这仍是计划。d-Matrix说会整合NVLink、Vera CPU、ConnectX-9 SuperNICs、BlueField-4 DPUs和Spectrum-X以太网,但这些整合能带来多少延迟或成本收益,来源没有给出具体数字。NVIDIA的新闻稿也带有合作方宣传性质,实际效果要看后续落地。
AI推理芯片公司d-Matrix宣布,将使用NVIDIA NVLink Fusion把其下一代Raptor XPU连接到NVIDIA的AI基础设施平台。NVIDIA博客称,d-Matrix由此加入了一个不断扩大的生态合作伙伴名单。
据NVIDIA博客,d-Matrix计划通过NVIDIA NVLink将其XPU连接在单一高带宽、低延迟的scale-up域内,其机架还可与NVIDIA Vera Rubin NVL72等基于GPU的系统配合,用于分离式推理(disaggregated inference)。
通过NVLink Fusion接入MGX机架与网络
NVIDIA博客称,将Raptor连接到NVIDIA NVLink scale-up和Spectrum-X scale-out网络、NVIDIA MGX机架架构以及更广泛的NVIDIA AI平台后,NVLink Fusion为d-Matrix提供了一条从定制芯片到大规模部署的加速、低风险路径。
d-Matrix联合创始人兼CEO Sid Sheth在昨天的新闻发布会上表示:“推理需求正在飙升,但资本、时间和能源仍然有限。”“借助NVLink Fusion和MGX,我们可以把Raptor XPU整合进一个已广泛部署的液冷架构,为客户提供更快、更低风险的路径来部署和扩展超低延迟推理。”
计划整合的NVIDIA组件
NVIDIA博客称,d-Matrix还计划整合NVIDIA Vera CPU、NVIDIA ConnectX-9 SuperNICs、NVIDIA BlueField-4 DPUs和NVIDIA Spectrum-X以太网网络。NVIDIA称,这些技术与NVLink和MGX一起,为d-Matrix提供了在灵活、统一的AI工厂内、与NVIDIA系统并排部署专用推理的成熟基础。
NVIDIA称其全栈AI工厂平台包括NVIDIA Vera Rubin NVL72、Groq 3 LPX、Vera CPU机架、Vera BlueField-4 STX存储和Spectrum-6 SPX以太网网络,并称该平台设计为完全可替换(fungible),可运行每一种AI工作负载、模型和模型架构,同时实现每瓦最佳性能和每token最低成本。
NVLink Fusion的定位
NVIDIA博客称,NVLink Fusion将这一开放性扩展到XPU和CPU,使芯片公司能够专注于其处理器创新,同时利用NVIDIA基础设施将其部署到AI工厂规模。
NVIDIA称,通过采用NVLink Fusion,d-Matrix可以利用NVIDIA MGX生态系统中成熟、经过验证的机架设计、供应链、供电和冷却基础设施。NVIDIA还称,通过标准化在通用机架上,数据中心可以一次建成并支持GPU、CPU和XPU,而无需为每种处理器类型准备单独的机架架构。