树莓派Zero硬上大模型！U盘大小AI终端诞生，但速度感人

Meise

"给八年前的树莓派Zero装上AI大脑，这波操作堪比蚂蚁驮大象！"开发者Binh Pham最近把大语言模型塞进U盘大小的设备里——用树莓派Zero开发板搭配3D打印外壳，造出了能离线运行AI的钥匙扣神器。只不过这枚"赛博护身符"生成文字的速度，足够你泡完三杯咖啡还没写完一首打油诗。

这场硬件极限挑战赛的起点，是块内存只有512MB的老古董开发板。Pham先是魔改llama.cpp框架，硬是把适配ARMv8指令集的代码削成了ARMv6能啃动的版本，相当于让Windows XP跑起了ChatGPT独立运行环境，把整个AI系统压缩进指甲盖大小的存储空间。

实测环节更是心酸：加载136M参数的SmolLM2模型时，生成每个字符要等2.2秒，写篇百字小作文得掐着表等四分钟。最基础的Tiny15M模型虽然提速到0.2秒/字符，但智商水平直逼学龄前儿童——让它编个童话故事，可能会产出"公主吃汉堡然后恐龙来了"的神展开。

尽管实用性约等于电子宠物，这个项目却暗藏玄机：Pham特意设计成U盘形态，插入电脑就能当离线写作助手。想象下记者带着它进保密会议室，不用联网也能让AI帮忙整理纪要，这脑洞确实够赛博朋克。开源社区已经有人摩拳擦掌，打算用树莓派5复刻个加速版，毕竟新款性能暴涨五倍，说不定真能调教出能用的办公小秘书。

yanjieh

就这么小一个呀，不晓得性能怎样