显存不够傲腾凑！纯CPU跑2.8万亿参数Kimi K3：差点把主板烧了

刘绪刚

                     快科技11月9日消息，近日一位Reddit网友成功在纯CPU环境下，跑通了月之暗面拥有2.8万亿参数的顶级模型Kimi K3。
令人意想不到的是，支撑这一庞然大物运行的核心并非动辄数万元的顶级显卡，而是早已被英特尔放弃的第二代傲腾持久内存（Optane PMem 200）。

要知道Kimi K3作为万亿级参数的巨型模型，其运行门槛极高，即便经过极度压缩的量化处理，也至少需要610GB的内存空间。
在当前内存价格持续走高的背景下，通过传统DDR4/DDR5内存堆砌出如此容量的代价极其昂贵。但如果选择使用二手傲腾持久内存作为替代方案，其成本仅为同容量普通内存的几分之一。
在具体的硬件部署上，该玩家使用了一颗40核心的第三代英特尔至强可扩展处理器。核心组件是第二代傲腾持久内存200系列，该产品于2020年随第三代至强发布，单条容量可选128GB至512GB。
在App Direct模式下，傲腾内存被直接映射为独立的持久化内存区域，让软件能更精准地控制模型张量的存放位置。
不过傲腾虽然性能强，发热量也相当夸张。这种持久内存满载时功耗很高，这位玩家郑重提醒：主动散热是硬性要求，不能省。
测试里他直接上了两台12W大功率涡轮风扇对着内存位猛吹。他表示，如果缺少这套强散热，傲腾释放的高温足以烤坏旁边的普通内存，严重时还会把主板插槽直接烤熔。
在实际的推理表现方面，这套系统的表现只能用慢如老牛来形容。在1位（1-bit）量化下，推理速度仅为0.85 Token/秒，而当精度提升至3位量化时，速度进一步下降到0.75 Token/秒。
这意味着生成一段5万Token的任务可能需要耗时13小时以上。这种速度对于实时对话毫无意义，但对于不追求时效性的深夜离线批处理任务，却是一种极具性价比的方案。