月之暗面免费放出Kimi K3权重，2.8万亿参数炸裂开源！

麻薯滑芝士

哈喽，各位每天都在Hugging Face上刷最新模型、对各种大语言模型的架构和训练细节如数家珍的AI研究员和算法工程师们，你们应该比谁都清楚一个顶尖模型开源意味着什么，意味着你可以不用求爷爷告奶奶地申请API额度，直接在本地跑推理甚至微调，想怎么折腾就怎么折腾；各位正在为公司寻找降本增效方案、被OpenAI和Claude的API账单压得喘不过气的AI创业公司CTO和技术负责人，你们肯定做梦都想找到一个性能足够强但又不用按token付费的替代方案，毕竟每个月的API开销已经快赶上员工工资了，而且随着业务量的增长这个数字还在不断膨胀；各位手里攒了好几块RTX 5090甚至A100、正愁没有够分量的模型来跑满算力的硬件发烧友，你们应该也注意到了这个2.8万亿参数的庞然大物，虽然自己的单机可能跑不动但看着就觉得过瘾，这种级别的模型以前只能在云上体验现在终于有机会本地部署了；各位在高校里做自然语言处理研究方向的研究生和博士生，你们应该也在为实验经费发愁，每次跑实验都要精打细算API调用次数，导师给的预算根本不够用，现在好了，一个顶级模型直接免费下载，论文实验的成本一下子就降下来了；还有那些纯粹就是对AI技术发展保持高度关注、喜欢看各家大模型互相较劲的科技爱好者——不管你是上面哪一种人，今天这条消息绝对值得你认真对待，因为它可能会改变整个AI大模型行业的游戏规则。

月之暗面这家公司，也就是大家熟知的Moonshot AI，在本周干了一件让整个AI圈都为之震动的事情——他们把自家最强的Kimi K3模型的权重在Hugging Face上免费开放下载了。这个模型可不是什么缩水版或者蒸馏版，而是完整版的2.8万亿参数巨兽，附带一个高达1万亿token的上下文窗口。你没有看错，是2.8万亿参数和1万亿token上下文窗口。这两个数字随便拎出来一个都足以让同行汗颜，更别说它们同时出现在同一个模型身上了。而且最关键的是，这一切都是免费的，不需要支付任何API费用，不需要签署复杂的授权协议，只要你有一台足够强悍的服务器，你就可以把Kimi K3下载下来，在你的本地环境里跑推理，甚至进行二次开发和微调。这在整个AI大模型行业里绝对是史无前例的操作。

咱们先来好好梳理一下这件事的前因后果和它背后的深远意义。月之暗面的Kimi K3是在今年7月份正式发布的，也就是这个月的事情，距离今天也就几个星期的时间。发布之后，这款模型迅速在各大评测榜单上崭露头角，根据Arena Intelligence的排行榜数据，Kimi K3在Agent Arena上排名第三，在Text Arena上排名第十一。Arena Intelligence可能有些读者不太熟悉，它其实就是原来的LMArena，改名之后依然保持着业界权威的地位，是衡量大模型综合能力的标杆榜单之一。Agent Arena专门评测模型作为智能体执行多步骤任务的能力，比如让模型调用工具、规划行程、完成复杂的业务流程等等，这对模型的推理能力和工具使用能力要求非常高。Kimi K3能在Agent Arena上排到第三，说明它在智能体这个方向上有着非常出色的表现，这跟它那个巨大的上下文窗口是分不开的——1万亿token的上下文意味着它可以一次性处理超长的文档，比如一整本书的法律条文或者一份数千页的技术手册，然后基于这些信息做出准确的判断和决策，这在以前是难以想象的。Text Arena则侧重于纯文本生成和理解能力，Kimi K3排在第十一，虽然不如Agent Arena那么亮眼，但考虑到它前面的都是Claude Fable这类闭源且不开源权重的顶级模型，这个成绩已经非常优秀了。排在Kimi K3前面的那些模型，比如Claude Fable，虽然性能可能更强，但它们的权重是不对外开放的，你只能通过API调用，每用一次就要付一次钱，而且数据还要上传到对方的服务器。而Kimi K3直接把权重扔了出来，这就好比大家都在一个高档餐厅吃饭，别人只能按菜品单价付费，月之暗面直接把厨房的门打开了，说食材和配方都在里面，你自己拿回去做吧。这种开放程度在目前的大模型行业里确实非常罕见，可以说是颠覆性的做法。

那Kimi K3的权重免费开放意味着什么呢？咱们可以从几个不同的角度来深入分析。首先对于企业和开发者来说，这意味着他们可以彻底摆脱API费用的束缚。目前市面上排名靠前的AI模型，无论是OpenAI的GPT-4系列还是Anthropic的Claude系列，都是通过API收费的，而且价格不菲。GPT-4的API调用成本大约是每百万token几十美元，如果你每天有几百万甚至几千万token的调用量，一个月下来就是几万甚至几十万美元的开销。对于一个小型创业公司来说，如果产品重度依赖AI能力，每个月的API账单可能高达几万甚至几十万美元，这是一笔非常沉重的负担，甚至会直接影响到公司的现金流和盈利能力。现在Kimi K3的权重免费开放了，只要你能搞定硬件，你就可以自己部署，推理成本几乎只剩下电费和服务器折旧费，长期来看能省下非常可观的费用。而且自己部署还有一个巨大的好处——数据安全。通过API调用时，你的数据需要上传到对方的服务器，对于一些涉及商业机密或者用户隐私的场景来说，这是一个很大的隐患，很多企业因为数据合规的要求根本无法使用国外的API服务。本地部署就没有这个问题，所有数据都在你自己的服务器上处理，安全性大大提高，也更容易通过各种合规审查。

其次对于学术界的研究人员来说，Kimi K3的开源更是一个巨大的福音。以前研究人员想要研究大模型的行为、进行对齐微调或者探索新的训练方法，往往只能使用一些较小的开源模型，比如Llama系列或者Mistral系列，因为这些模型的权重是公开的，可以在本地运行和修改。而那些真正顶尖的模型，比如GPT-4或者Claude 3.5，虽然性能强大，但权重不公开，研究人员只能通过API进行有限的实验，很多深入的分析工作根本无法开展，比如你无法查看模型的中间层激活值，也无法对模型进行精细的微调。现在Kimi K3的权重开放了，研究人员可以直接在本地加载这个模型，进行各种实验和分析，这对于推动整个AI领域的基础研究有着非常重要的意义。你可以想象一下，一个博士生的课题可能就是研究超大模型的注意力机制，以前他只能用7B或者13B的模型来做实验，现在他可以直接在Kimi K3上验证自己的想法，这中间的差距是非常大的，可能会催生出更多突破性的研究成果。

当然，想要跑动Kimi K3这个庞然大物，硬件门槛是非常高的，这一点必须跟大家说清楚。根据Notebookcheck在报道中提供的信息，要加载完整的未经蒸馏的Kimi K3模型，需要的存储空间超过1TB。没错，光是模型文件的大小就超过1TB，这还只是权重文件，不包括运行时的缓存和中间变量。要运行这个模型，你需要一台NVIDIA DGX B200这样的顶级AI服务器，这台服务器拥有总计1440GB的GPU显存，才能把整个模型完整地加载到显存中进行推理。DGX B200的价格是多少呢？保守估计也要几十万美元，这根本不是普通消费者或者小公司能够承受的，甚至很多中型企业也得掂量掂量。除了GPU之外，你还需要一台AMD EPYC处理器的工作站，配备数TB的系统内存和数TB的存储空间，才能满足模型加载和数据预处理的需求。这个配置要求确实非常夸张，但也从侧面反映了Kimi K3这个模型的规模之大，以及月之暗面在训练这个模型时投入的算力之巨。

不过好消息是，月之暗面计划在未来推出Kimi K3的蒸馏版本。蒸馏是一种模型压缩技术，通过让一个大模型（教师模型）来训练一个小模型（学生模型），使得小模型在尽可能保持大模型性能的同时，大幅减小模型体积和计算需求。这个过程类似于一位教授把他的知识和经验提炼成一本教材，让学生通过学习这本教材来接近教授的水平。一旦Kimi K3的蒸馏版本发布，硬件要求将会显著降低。报道中甚至提到，蒸馏后的Kimi K3有望在配置得当的消费级PC上运行，比如最近备受关注的Bosgame VTA-439 AI迷你主机，这台迷你主机配备了256GB的内存。256GB内存虽然对于普通PC来说已经是天文数字了，但相比DGX B200的1440GB显存来说，门槛已经降低了将近六分之五。而且随着硬件技术的进步和价格的下降，未来可能会有更多的个人用户和中小企业能够负担得起这样的配置，届时Kimi K3才能真正走进千家万户。

咱们再来聊聊Kimi K3在技术层面的一些亮点。2.8万亿参数这个数字意味着什么？目前市面上最大的开源模型，比如Llama 3的405B版本，参数规模是4050亿，只有Kimi K3的七分之一左右。即使是那些闭源的顶级模型，比如传闻中的GPT-4，据推测参数规模可能在1.7万亿到1.8万亿之间，也比Kimi K3少了将近1万亿。当然，参数数量并不是衡量模型性能的唯一标准，训练数据的质量、训练方法的先进性、架构设计的合理性等因素同样重要，但参数规模确实在一定程度上代表了模型的上限。更大的参数规模意味着模型有更多的容量来记忆和学习复杂的模式和知识，在处理细微的任务时可能表现得更好，比如理解复杂的隐喻、进行多步推理、或者掌握罕见的专业知识。另一个值得关注的点是1万亿token的上下文窗口。上下文窗口指的是模型在一次推理中可以同时处理的最大文本长度。目前大多数主流模型的上下文窗口在128K到200K token之间，也就是大约十万到二十万个单词。Kimi K3的1万亿token上下文窗口，是这个数字的五万倍。这意味着你可以把一整座图书馆的书籍内容一次性喂给模型，然后让它基于所有这些信息回答问题。这对于处理法律文档、医学文献、技术手册等超长文本的应用场景来说，具有革命性的意义。比如一个律师可以把整个案件的所有相关法律条文、判例、证据文件全部输入给Kimi K3，然后让它协助分析案情、查找漏洞。或者一个科研人员可以把一个领域过去十年的所有论文一次性输入，让模型帮他找出研究趋势和未被解决的问题。这种能力在以前是科幻小说里才有的情节。

咱们也得客观地看待Kimi K3目前的位置。虽然它在Agent Arena上排名第三，在Text Arena上排名第十一，但排在它前面的那些模型，比如Claude Fable，性能确实更强。而且Claude Fable的权重虽然没有开放，但Anthropic提供了API服务，用户可以通过付费的方式使用。所以Kimi K3的策略非常清晰——我不跟你比绝对的性能上限，我跟你比开放程度和成本优势。你用API要花钱，我直接免费给你权重；你只能在云端调用，我可以本地部署保证数据安全；你不能做二次开发，我可以随意微调和定制。这种差异化竞争的思路，在目前这个AI大模型市场格局下，是非常明智的选择。就像当年的Linux在服务器市场挑战Windows一样，虽然Linux在易用性和生态上不如Windows，但它凭借开源免费和高度可定制的优势，最终在服务器领域占据了主导地位。Kimi K3走的也是类似的路线。

从月之暗面这家公司的角度来看，免费开放Kimi K3权重也是一种深思熟虑的战略布局。通过开源，他们可以迅速积累开发者社区的口碑和影响力，吸引更多的开发者和企业加入到他们的生态系统中来。虽然短期来看，免费开放权重可能会损失一部分API收入，但从长期来看，如果Kimi K3的开源版本获得了广泛的应用，那么月之暗面可以通过提供企业级技术支持、定制化服务、云部署方案等方式来变现。而且开源也有助于快速收集用户反馈，发现模型存在的问题，加速模型的迭代优化。这种“先开源圈地、后增值服务”的模式，在开源软件领域已经有很多成功的先例，比如Red Hat、Databricks等公司都是通过这种方式建立起了庞大的商业帝国。月之暗面显然是想复制这种成功模式。

对于正在考虑是否要尝试Kimi K3的读者，我的建议是这样的：如果你是一家AI创业公司的技术负责人，并且你的业务对数据安全和成本控制有较高的要求，那么Kimi K3绝对值得你认真评估。你可以先了解一下蒸馏版本的发布时间表，如果等不及，也可以考虑租用云服务器上的高端GPU实例来运行完整版，虽然租用成本也不低，但相比长期支付API费用来说，可能仍然有优势，尤其是当你的调用量很大的时候。如果你是一名AI研究员或者高校师生，那么Kimi K3的开源对你来说是一个难得的机会，你可以用它来进行各种前沿的实验和研究，发表高质量的论文，而且不用担心API预算不够用。如果你只是一名普通的AI爱好者，手头没有DGX B200那样的顶级硬件，也不用灰心，可以等待蒸馏版本的发布，或者关注社区里有没有人提供共享推理服务，很多高校和科研机构可能会开放他们的计算资源给外部研究者使用。无论如何，Kimi K3的免费开源，标志着AI大模型行业进入了一个新的阶段——顶尖模型的权重不再是少数几家公司的禁脔，而是开始向公众开放。这对于整个行业的发展和创新来说，都是一个非常积极的信号。

最后，我想说的是，月之暗面这次的做法值得点赞。在大家都在忙着建围墙、收门票的时候，他们选择打开大门，把自家最顶尖的模型免费送给全世界。这种魄力和胸怀，在当前的商业环境下确实难能可贵。当然，我们也需要清醒地认识到，运行这样一个庞然大物的硬件门槛依然很高，普通人想要真正用上它还有很长的路要走。但至少，第一步已经迈出去了。随着蒸馏技术的成熟和硬件成本的下降，我们有理由相信，在不久的将来，像Kimi K3这样的顶级AI模型将会真正走进千家万户，成为每个人手中的得力助手。到那时候，我们回过头来看今天，会发现月之暗面免费开放Kimi K3权重这件事，可能就是这个新时代的起点。这一天不会太远了，而我们正在见证历史。