数码之家

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 109|回复: 0

[软件] 没显卡也能跑AI大语言模型了

[复制链接]
发表于 6 小时前 | 显示全部楼层 |阅读模式
不用独显,64GB内存电脑,就能跑284B的模型


不用独立显卡,只要一台64GB内存的电脑,就能运行两千八百四十亿参数的大模型了。


大模型圈刚杀出一个逆天级的开源怪物,一个叫llama-modchip的社区项目。它基于修改版llama.cpp,通过量化压缩模型,再针对CPU和内存访问做优化,降低本地运行门槛。


先说明一下,它测试的是DeepSeek-V4-Flash的特定压缩版本,不是所有DeepSeek模型都能这样跑。目前公布的测试,使用十六核AMD Zen 5处理器和64GB DDR5内存,依靠向量指令集优化,跑284B 模型的生成速度稳定在每秒 9 到 14 Token,投机采样最高飙到每秒 25 Token,余弦相似度保持 99.15%。内存方面,压缩后的模型文件仍然有六十GB左右,运行时还需要额外空间,几乎占满这台64GB机器的可用内存。


跑30B模型那是直接起飞:30B 级别的 MoE 模型,体积只有 13.3GB,连 16G 内存的轻薄本都能跑,纯 CPU 甚至能跑出每秒 111 个 Token 的狂暴速度。并且还自带免依赖的暗黑 Web UI 和终端交互,甚至原生支持直接挂载给 Claude Code 当本地后端。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

APP|手机版|小黑屋|关于我们|联系我们|法律条款|数码之家-技术知识分享平台

闽公网安备35020502000485号

闽ICP备2021002735号-2

GMT+8, 2026-11-16 22:40 , Processed in 0.124800 second(s), 7 queries , Gzip On, Redis On.

Powered by Discuz!

© MyDigit.Net Since 2006

快速回复 返回顶部 返回列表