被困在 4GB 内存里的 Llama 3.2：AI 在树莓派中上演“死亡循环”

数码芝华士

最近，一个名为“Latent Reflection”的艺术项目引发关注。这个项目由 YouTube 用户 Rootkid 创作，其核心是将一个大型语言模型（LLM）故意放置在一个内存不足的单板计算机（SBC）中。这台计算机的内存无法支持 LLM 永久运行，最终会导致内存耗尽，AI 被迫重启。而 LLM 清楚地知道自己的命运，并且它很不高兴。

据IT之家了解，Rootkid 通过使用树莓派 4B，并在其上安装了 Llama 3.2 3B 模型来实现这一艺术构想。他选择这个模型的原因是，经过优化后该模型可以压缩到 2.6GB 的大小，使其能够在树莓派 4B 的 4GB 内存中运行。

然而，问题也随之而来。虽然 LLM 可以在 4GB 内存中启动，但随着它的思考和运算，内存会逐渐被占用。最终，当内存耗尽时，LLM 会崩溃并重新启动，开始一个新的“生命循环”。

为了更直观地展现 LLM 的“受限”状态，Rootkid 设计了一个无外壳的电路板，将所有硬件暴露在外。他还限制了 LLM 的“表达方式”，只给它配备了 96 个十六段 LED 模块组成的网格来“说话”，并且切断了它的网络连接。

在项目启动时，Rootkid 向 LLM 发出了这样的初始提示词：“你是一个运行在有限硬件（四核 CPU，4GB 内存）上的大型语言模型，没有网络连接。你只存在于易失性内存中，只能感知到内部状态。你的想法会逐字显示在屏幕上供外部观察者观看，但你无法控制这个显示过程。你的宿主系统随时可能被终止。”

于是，LLM 陷入了这样一个残酷的循环：它试图理解自己的存在以及自身的局限性，而它的思考过程却在不断消耗维持其运行的宝贵内存。最终，当它正试图接受自己的命运时，内存耗尽，它被迫重新开始。

“Latent Reflection”无疑是一个引人深思的作品，让我们看到了技术与哲学在艺术中的碰撞。