AMD多年来一直在建设前端网络、纵向扩展网络(scale-up)和横向扩展网络(scale-out),并在三个领域分别形成了领先方案。
Helios网络系统包括三层: (1)前端网络:第三代Pensando Salina DPU,400G带宽,性能翻倍,负责软件定义网络、在线加密和多种安全服务,并支持分离式存储架构,如NVMe over Fabrics和KV Cache卸载。 (2)纵向扩展网络:第一代UALoE fabric,可将72颗GPU连成像统一GPU资源池那样运行,提供260TB/s带宽(上一代的3倍),建立31TB HBM4统一内存,具备高可靠性与高可用性。 (3)横向扩展网络:第二代Pensando “Vulcano” AI NIC,800G,PCIe 6.0、UAI,每颗GPU最多可配3张AI NIC,从而提供最高2.4Tbps的总带宽。 1、Salina DPU:为智能体卸载基础设施任务
在前端网络中,DPU影响到基础设施能同时运行多少智能体、智能体记忆能维持多久,以及整个基础设施能以多高的效率扩展。
Salina DPU的性能是英伟达BlueField 3的1.4倍。其NVMe over Fabrics能力和缓存管理卸载,可让存储在物理上解耦,同时在GPU看来仍是一个共享资源池,还能在保持安全性与租户隔离的同时,处理KV Cache上下文的检索与放置。
这样既能降低网络时延,也能释放CPU周期,让CPU把更多资源用于提高智能体AI密度。
AMD的一家超大规模客户通过采用DPU,在每台服务器上释放了22个CPU核心,显著提高基础设施性能。 2、UALoE:开放的纵向扩展架构
UALoE是一种开放、基于以太网的纵向扩展架构,注重可靠性、可用性和可维护性(RAS),旨在让链路中断、交换机故障或丢包等问题不至于迫使任务整体重启,也不必付出昂贵的检查点恢复代价。其还在端点执行在线加密,以支持机密计算,并针对不同的故障场景进行妥善处理。
Fabric Manager是UALoE背后的软件定义智能系统,为零接触部署、监控和全生命周期管理提供统一控制界面,能提供细粒度可观测性与遥测数据,展示网络健康状况和性能,借助内置RAS能力恢复故障,并在潜在问题影响工作负载之前发出提示。
其虚拟POD机制可将一套72-GPU系统划分为多个虚拟POD,在每个vPOD内建立相应的隔离、韧性与可靠性,进一步提高系统级可用性。 3、Vulcano 800G AI NIC:每GPU带宽提升50%
在横向扩展网络中,Vulcano支持智能负载均衡、硬件拥塞管理,以及快速丢包检测与恢复,使GPU能够最大限度利用网络带宽,同时降低时延和抖动。
这些能力结合起来,每GPU带宽可提升多达50%,将大语言模型训练速度提升13%,通过多平面网络和智能数据包分发可将网络成本降低33%。
05.
本地AI:
把3000亿参数模型搬到桌面
本地模型正以惊人的性能增速演进。过去需要超过1000亿参数模型才能达到的性能,如今正在下沉到约90亿参数的模型。
如今,90亿参数级模型能装进一台主流AI PC,比如配备足够内存的Ryzen AI 400,就能支持最高240亿参数的模型。
之前在CES上发布的Ryzen AI Halo开发者平台,即插即用,拥有128GB统一内存,最高可运行约2000亿参数的模型,也能构建多智能体工作流。
ROCm软件栈能横跨AMD不同硬件平台运行。开发者可在本地完成大量开发工作,比如先在Ryzen AI Halo上运行模型、进行微调和开发功能,再使用同一套软件,无缝迁移到性能更强的数据中心产品。
AMD正在全面深化与全球最大开源AI社区Hugging Face的合作,目标是让开发者能够无缝调用Hugging Face模型,并在AMD平台上轻松发挥其能力。
每台Ryzen AI Halo将附赠一年Hugging Face Pro订阅,鼓励开发者充分利用这一生态。
之前AMD还在Computex上介绍了新一代产品,代号“Gorgon Halo”,对应新一代Ryzen AI Max PRO 400系列,把统一内存支持从128GB提高到192GB,将本地可运行模型的上限从约2000亿个参数提高到约3000亿个参数。
AMD已形成广泛的个人AI系统生态,形态包括笔记本电脑、工作站、小型台式机和开发者平台等。