4o-mini 只有 8B、o1 也才 300B，微软论文意外曝光 GPT 核心机密

dcnetworks

微软又把 OpenAI 的机密泄露了？？在论文中明晃晃写着：

英伟达 2024 年初发布 B200 时，就摊牌了 GPT-4 是 1.8T MoE 也就是 1800B，这里微软的数字更精确，为 1.76T。

除此之外，论文中给 OpenAI 的 mini 系列，Claude3.5 Sonnet 也都附上了参数，总结如下：

* o1-preview 约 300B；o1-mini 约 100B

* GPT-4o 约 200B；GPT-4o-mini 约 8B

* Claude 3.5 Sonnet 2024-10-22 版本约 175B

* 微软自己的 Phi-3-7B，这个不用约了就是 7B

虽然论文中后面也有免责声明：

但还是有不少人觉得事情没这么简单。

比如为什么唯独没有放谷歌 Gemini 模型的参数估计？或许他们对放出来的数字还是有信心的。

也有人认为，大多数模型都是在英伟达 GPU 上运行的，所以可以通过 token 生成速度来估计。

只有谷歌模型是在 TPU 上运行的，所以不好估计。

siyatu2001

这在国内算不算机密？

xuguangqi08

未来ai还要要看东方