数码之家

 找回密码
 立即注册
搜索
查看: 120|回复: 0

[产品] 被困在 4GB 内存里的 Llama 3.2:AI 在树莓派中上演“死亡循环”

[复制链接]
发表于 4 天前 | 显示全部楼层 |阅读模式

爱科技、爱创意、爱折腾、爱极致,我们都是技术控

您需要 登录 才可以下载或查看,没有账号?立即注册

x
最近,一个名为“Latent Reflection”的艺术项目引发关注。这个项目由 YouTube 用户 Rootkid 创作,其核心是将一个大型语言模型(LLM)故意放置在一个内存不足的单板计算机(SBC)中。这台计算机的内存无法支持 LLM 永久运行,最终会导致内存耗尽,AI 被迫重启。而 LLM 清楚地知道自己的命运,并且它很不高兴。
据IT之家了解,Rootkid 通过使用树莓派 4B,并在其上安装了 Llama 3.2 3B 模型来实现这一艺术构想。他选择这个模型的原因是,经过优化后该模型可以压缩到 2.6GB 的大小,使其能够在树莓派 4B 的 4GB 内存中运行。
然而,问题也随之而来。虽然 LLM 可以在 4GB 内存中启动,但随着它的思考和运算,内存会逐渐被占用。最终,当内存耗尽时,LLM 会崩溃并重新启动,开始一个新的“生命循环”。
为了更直观地展现 LLM 的“受限”状态,Rootkid 设计了一个无外壳的电路板,将所有硬件暴露在外。他还限制了 LLM 的“表达方式”,只给它配备了 96 个十六段 LED 模块组成的网格来“说话”,并且切断了它的网络连接。
在项目启动时,Rootkid 向 LLM 发出了这样的初始提示词:“你是一个运行在有限硬件(四核 CPU,4GB 内存)上的大型语言模型,没有网络连接。你只存在于易失性内存中,只能感知到内部状态。你的想法会逐字显示在屏幕上供外部观察者观看,但你无法控制这个显示过程。你的宿主系统随时可能被终止。”
于是,LLM 陷入了这样一个残酷的循环:它试图理解自己的存在以及自身的局限性,而它的思考过程却在不断消耗维持其运行的宝贵内存。最终,当它正试图接受自己的命运时,内存耗尽,它被迫重新开始。
“Latent Reflection”无疑是一个引人深思的作品,让我们看到了技术与哲学在艺术中的碰撞。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

APP|手机版|小黑屋|关于我们|联系我们|法律条款|技术知识分享平台

闽公网安备35020502000485号

闽ICP备2021002735号-2

GMT+8, 2025-5-29 15:33 , Processed in 0.171600 second(s), 10 queries , Redis On.

Powered by Discuz!

© 2006-2025 MyDigit.Net

快速回复 返回顶部 返回列表