Maple-Preview-20B-A1B登场：iPhone上运行达127 tokens/s

数码芝华士

美国独立 AI 研究实验室 DeepGrove 昨日（8 月 5 日）发布博文，发布名为 Maple-Preview 的轻量 AI 模型，在 iPhone（原文并未明确具体机型）上运行可以达到 127 tokens/s，是 Bonsai 27B (9.6 tokens/s) 的约 13 倍。

IT之家附上相关对比视频如下：

Maple-Preview 模型输出约为 127 tokens/s Bonsai 27B（9.6tokens/s）

在模型规模方面，Maple-Preview 的总参数量为 202 亿个，采用混合专家（MoE）架构，激活参数量为 14.9 亿个。

DeepGrove 表示，目前 AI 行业针对本地端侧主要依赖量化技术，但这种方式存在根本性问题，严重影响模型的性能和效率。

DeepGrove 公司提出“三值权重”（ternary-weight）方案，将权重约束并量化为三值（{-1, 0, 1})），大幅降低了内存占用与计算带宽需求，该模型包含 24 层、256 个专家（8 个活跃专家），并采用 3:1 SWA-512:GA 混合注意力机制。

在能力展示上，Maple-Preview 在 MacBook Pro（M5 Pro）上完成 IMO 2024 P1，结果为 7/7，运行速度 281.5 tokens/s。

在长上下文场景下，Maple-Preview 也强调内存控制能力。相关图表把 context length（上下文长度）与维持上下文所需的额外内存占用放在同一坐标系中。结果显示，即便处理 131,000 tokens，Maple-Preview 的内存占用仍只有 7.69GB。

DeepGrove 表示，Maple-Preview 目前仍处于 preview stage（预览阶段），后续还会继续改进。公司同时希望构建一套系统，让 AI 模型能根据对话内容自动调整，并针对单个用户做优化。

wjqok

游客请登录后查看回复内容