数码之家

 找回密码
 立即注册

QQ登录

只需一步,快速开始

微信登录

微信扫一扫,快速登录

搜索
查看: 188|回复: 0

[科技] 苹果Mac Studio M3 Ultra秀神仙操作:单机跑通6710亿参数AI模型

[复制链接]
发表于 2025-3-22 18:58:13 | 显示全部楼层 |阅读模式
最近油管科技博主Dave2D整了个大活——用苹果桌面主机Mac Studio M3 Ultra跑通了DeepSeek R1大模型。这个拥有6710亿参数的AI怪兽通常需要八卡GPU服务器才能驱动,如今竟被塞进了苹果的金属小方盒里,关键整机功耗还不到200瓦。

这事儿能成全靠M3 Ultra芯片的独门绝技:512GB统一内存。普通电脑的显卡显存和主板内存是分开的,但苹果把这两块打通成了"内存池"。博主通过终端指令把448GB内存划给AI运算,直接把404GB的模型整个装了进去,省去了数据在显卡和内存之间来回倒腾的麻烦。

对比传统方案,跑这种量级的模型通常需要NVIDIA八块H100显卡起步,光显卡功耗就得突破2000瓦。苹果这套方案不仅省了九成电力,还不用忍受多显卡之间的传输延迟。实测中,即使用4-bit量化压缩过的模型,处理效果也没打折扣。

配置方面,这台顶配Mac Studio搭载32核CPU+80核GPU,本是给视频剪辑师准备的 workstation,没想到在AI领域也能杀出条新路。虽然苹果没明说支持大模型训练,但这波操作实实在在展示了统一内存架构的潜力——毕竟能单机运行671B参数模型的家用电脑,目前全球独此一份。

(本文实验数据来自YouTube频道Dave2D)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册 微信登录

x
您需要登录后才可以回帖 登录 | 立即注册 微信登录

本版积分规则

APP|手机版|小黑屋|关于我们|联系我们|法律条款|技术知识分享平台

闽公网安备35020502000485号

闽ICP备2021002735号-2

GMT+8, 2025-7-18 00:24 , Processed in 0.124800 second(s), 11 queries , Redis On.

Powered by Discuz!

© 2006-2025 MyDigit.Net

快速回复 返回顶部 返回列表