数码之家

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 32|回复: 0

[业界] 苹果悄悄找上这家公司,270亿参数模型真要跑进iPhone了

[复制链接]
发表于 1 小时前 | 显示全部楼层 |阅读模式
各位每天在iPhone设置里翻来覆去找那个“Apple Intelligence”开关、试完之后默默关掉的iOS深度用户,各位在公司里搞模型部署天天被老板灵魂拷问“这个70B模型到底能不能在手机上跑”的AI搬砖工,各位一边嫌弃端侧AI智商不够用一边又打死也不肯把照片通讯录上传到云端的隐私焦虑症患者,各位手里攥着iPhone 15 Pro Max没事就跑个LLM Benchmark测试、盯着token数两眼放光的性能发烧友,各位常年跟踪苹果收购动向和供应链布局、试图从任何风吹草动里嗅出下一代产品方向的长期投资者,各位纯粹就是好奇一个270亿参数的大模型究竟怎么才能塞进一台手机里、这技术到底是不是又在画饼的吃瓜路人——今天这条消息,跟你们每一个人都沾边,因为苹果正在跟一家名叫PrismML的创业公司坐在一张桌子上谈事情,而这家公司干的事儿,说白了就是把那些原本需要好几张显卡才能撑起来的大型AI语言模型,用一种相当巧妙的手段压缩到极致,然后直接塞进你兜里那台iPhone里面,让它在本地就能跑推理,全程不需要联网,不需要把数据传到任何服务器上。

这个消息是PrismML的CEO Babak Hassibi亲自向CNBC透露的。按照他的说法,苹果跟他们之间的沟通目前还处在一个相当早期的阶段,说白了就是双方刚接触上,互相了解一下对方手里有什么牌,离正式签约或者达成什么实质性的合作协议还远着呢。Hassibi的原话是这么描述的——目前的讨论还属于初步接触的性质,谁也说不准这些谈话最终会走向什么结果,但他紧接着又补了一句:“事情正在朝着不错的方向推进。”这种措辞在商业谈判里其实挺有讲究的,既没有给你画一张大饼让你产生不切实际的期待,也没有把大门关上,属于那种让你觉得有戏但又不会过度兴奋的状态。既然CEO愿意把这个消息拿出来公开讲,至少说明双方是有实质性接触的,不是那种连会议室都没踏进去过的空穴来风。

那PrismML到底是靠着什么本事引起了苹果的注意呢?咱们得好好看看他们在本周二,也就是2026年7月14号那天正式对外发布的Bonsai 27B模型。这个模型名字里的27B,代表的就是270亿个参数。一般来说,一个270亿参数的大语言模型,如果采用业界标准的16位浮点数精度来存储所有的权重数据,那么它占用的存储空间大概在54GB左右。54GB是个什么概念呢?你拿出一台256GB的iPhone 15 Pro,去掉iOS系统本身占用的空间和各种预装应用之后,剩下能给用户自由支配的空间大概也就两百GB出头。你总不能为了跑一个AI模型,就把半个手机的存储空间全部填满吧?而且就算存储空间勉强够用,手机的运行内存和芯片算力也根本扛不住这么大一个模型在上面跑推理运算。但PrismML的做法就很有意思了——他们没有沿用传统的16位浮点数来存储每一个模型权重,而是另辟蹊径,把每个权重值只用1个或者3个可能的数值来表示。就这么一招,硬生生把一个54GB的庞然大物压缩到了最低3.9GB。在这个体积下,这个模型就可以直接在iPhone 15或者更新的机型上本地运行了,不需要把数据传到云端,不需要依赖网络连接,全部在手机内部完成推理运算。

Hassibi在接受CNBC采访的时候还透露了一个值得关注的细节:苹果以及其他一些公司已经在拿PrismML的模型做测试了,测试的内容主要集中在三个维度上——模型运行的速度怎么样、耗电量高不高,以及在设备端实际跑起来的综合性能表现到底如何。苹果那边对此没有发表任何官方评论,但这种沉默本身往往比说话更有信息量。如果苹果对这个技术完全没有兴趣,他们根本不会浪费时间和精力去做测试。

那经过压缩之后的模型,性能到底打了多少折扣呢?这是所有人都关心的核心问题。PrismML给出了几组数据:压缩后的模型,占用的内存只有标准版本的十分之一到十五分之一,响应速度能达到标准版本的六到八倍,功耗则降低了三到六倍。这几个数字单独拎出来看都非常漂亮,但Hassibi也很坦诚地指出了压缩带来的副作用——模型在整体准确率上会损失几个百分点,而且跟推理能力和代码编写能力这些技能相比,事实性知识方面的退化会更加明显一些。什么意思呢?就是说这个压缩版的模型在回答一些需要精确记忆的事实性问题时,可能会比原版更容易出错或者给出不准确的答案,但在逻辑推理、数学计算和写代码这类任务上,缩水的幅度相对小一些。

Bonsai 27B系列目前一共提供了两个不同的版本供用户选用。第一个是1比特版本,体积大概在4GB左右,这个版本的设计目标就是追求极致的压缩效果,专门针对高端移动设备进行了优化,PrismML表示在iPhone 17 Pro上跑这个模型,可以达到每秒生成11个token的速度。第二个是1.58比特的三进制版本,体积虽然比1比特版本要大一些,但输出的质量明显更高,在各项基准测试中能够实现超过全精度模型95%以上的性能表现。这两个版本都采用了Apache 2.0开源许可证发布,也就是说任何人都可以免费下载、使用甚至修改这些模型。PrismML还透露了一个消息:谷歌的开源Gemma模型将是他们下一个要进行压缩处理的目标。

再说说PrismML这家公司本身的来头。它是从加州理工学院分离出来的创业项目,相关的核心技术专利归加州理工学院所有,而PrismML获得了将这些专利进行商业化开发的独家授权。今年3月份,这家初创公司完成了一轮1625万美元的种子轮融资,投资方是硅谷知名的风投机构Khosla Ventures。对于一个还处在早期阶段的技术型创业公司来说,能在种子轮就拿到这个级别的融资,本身就说明资本市场上有人对这条技术路线抱有相当大的信心。

再把镜头拉回苹果这边。苹果这几年一直在大力推进一件事情——把更多的AI处理工作从云端迁移到设备本地来完成。在今年6月份的全球开发者大会上,苹果发布了由Google Gemini驱动的大改版Siri,这个新版Siri随着iOS 27的公测版在本周一,也就是2026年7月13号,正式向公众开放了测试。目前苹果在AI处理上的策略是这样分配的:一部分比较简单、计算量较小的请求直接在设备本地处理,而那些更复杂、需要更多计算资源的查询,则会转发到苹果的私有云服务器或者接入第三方的模型来处理。如果能通过PrismML的技术把更多的AI工作负载直接搬到iPhone上,好处是非常明显的——用户的响应速度会更快,因为省去了数据在网络上来回传输的时间;苹果在云服务器基础设施上的支出也能降下来;最关键的一点是,这跟苹果多年来一直在讲的隐私保护故事完美契合——数据不出设备,才是最安全的方式。

所以说,苹果跟PrismML这次接触,表面上看起来只是一次普普通通的收购或合作洽谈,但背后牵扯到的,是整个端侧AI生态的战略布局。如果这条路真的走得通,那未来的iPhone可能就不再只是一个打电话、刷视频、玩游戏的工具,而是一个真正能在本地运行强大AI模型的智能终端。至于这条路最终能不能走通,咱们就搬好凳子慢慢往下看吧。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

APP|手机版|小黑屋|关于我们|联系我们|法律条款|数码之家-技术知识分享平台

闽公网安备35020502000485号

闽ICP备2021002735号-2

GMT+8, 2026-7-16 18:59 , Processed in 0.140400 second(s), 8 queries , Gzip On, Redis On.

Powered by Discuz!

© MyDigit.Net Since 2006

快速回复 返回顶部 返回列表