|
最近油管科技博主Dave2D整了个大活——用苹果桌面主机Mac Studio M3 Ultra跑通了DeepSeek R1大模型。这个拥有6710亿参数的AI怪兽通常需要八卡GPU服务器才能驱动,如今竟被塞进了苹果的金属小方盒里,关键整机功耗还不到200瓦。
这事儿能成全靠M3 Ultra芯片的独门绝技:512GB统一内存。普通电脑的显卡显存和主板内存是分开的,但苹果把这两块打通成了"内存池"。博主通过终端指令把448GB内存划给AI运算,直接把404GB的模型整个装了进去,省去了数据在显卡和内存之间来回倒腾的麻烦。
对比传统方案,跑这种量级的模型通常需要NVIDIA八块H100显卡起步,光显卡功耗就得突破2000瓦。苹果这套方案不仅省了九成电力,还不用忍受多显卡之间的传输延迟。实测中,即使用4-bit量化压缩过的模型,处理效果也没打折扣。
配置方面,这台顶配Mac Studio搭载32核CPU+80核GPU,本是给视频剪辑师准备的 workstation,没想到在AI领域也能杀出条新路。虽然苹果没明说支持大模型训练,但这波操作实实在在展示了统一内存架构的潜力——毕竟能单机运行671B参数模型的家用电脑,目前全球独此一份。
(本文实验数据来自YouTube频道Dave2D)
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|