数码之家

 找回密码
 立即注册

QQ登录

只需一步,快速开始

微信登录

微信扫一扫,快速登录

搜索
查看: 34|回复: 0

[科技] 苹果御用框架立功!Ollama本地AI狂飙,Mac跑模型速度直接翻倍

[复制链接]
发表于 昨天 19:12 | 显示全部楼层 |阅读模式
哎我天!所有用Mac搞AI开发的、在自己电脑上跑大模型玩的、还有那些嫌云端AI贵又想体验智能助手的兄弟们,赶紧看过来!今天有个巨提神的消息,保管让你们手里的Mac,特别是那些新款,感觉像打了鸡血一样——Ollama,就那个让你能在自己电脑上本地运行各种AI模型的王牌软件,它更新了!而且这次更新,是抱上了苹果亲儿子“MLX”框架的大腿,速度直接起飞!

消息是Macrumors曝出来的,说得有鼻子有眼。简单讲,Ollama刚刚放出了一个新版本,这个版本最大、最牛的变化,就是它终于深度用上了苹果自家搞的那个机器学习框架,叫MLX。结果呢?就是在搭载苹果自家芯片(M1、M2、M3,特别是最新的M5)的Mac电脑上,运行AI模型获得了一剂猛到不行的速度强心针!

Ollama官方自己说的,用了MLX框架加持的新版本,处理你输入问题(专业点叫“预填充”速度)的速度,大概是之前的1.6倍;而生成回答(也就是“解码”速度)的速度,更是快了将近一倍,差不多是翻了个跟头!这啥概念?就等于原来你问AI一个问题,它要“嗯……”思考两秒钟才开口,现在可能一秒多点就反应了;原来它像打字一样一个一个词往外蹦回答,现在跟开了倍速说话似的,哗哗哗就给你一大段。整个对话的流畅感和响应速度,那是质的飞跃。

为啥能突然快这么多?根子就在苹果这个MLX框架上。你可以把它理解成苹果为自家芯片(Apple silicon)专门修建的一条“御用高速公路”。以前Ollama或者其他AI软件在Mac上跑,可能用的是那种通用型的、啥车都能开的“国道”(比如PyTorch的某些版本),虽然也能跑,但毕竟不是为Mac的芯片量身定做的,有些弯道得减速,有些潜力发挥不出来。

现在Ollama换到了MLX这条“御用高速”上,等于拿到了苹果芯片最底层的“优化秘籍”,知道怎么最狠、最直接地调动M系列芯片里那个强大的GPU和神经网络引擎(Neural Engine)来干活,所有的计算都安排在“家门口”,效率自然蹭蹭往上涨。报道里还特别点了M5系列芯片的名,说它们看到的性能提升是最大的。这很可能是因为M5里面塞进了苹果全新的“GPU神经加速器”,这玩意儿就是专门为MLX这类机器学习任务生的“特种兵”,Ollama现在能直接指挥这些“特种兵”,那速度能不爆炸吗?

除了跑得快,这次更新还有个隐藏福利:更聪明的内存管理。Ollama说,这会让那些AI编程工具或者聊天助手,在你长时间使用的时候,感觉明显更跟手、更不容易卡顿。你想啊,本地跑模型最吃内存,内存管理好了,就像你电脑同时开很多网页也不卡,体验能不好吗?

那具体对哪些人、哪些应用最有用呢?Ollama官方也点名了。他们觉得这个性能大提升,会特别惠及那些在macOS上跑个人助理(比如OpenClaw)或者编程智能体(比如Claude Code, OpenCode, 或者Codex)的用户。你想想,你让AI帮你写代码或者分析问题,它反应快一倍,你等得心焦的时间就少一半,效率自然嗷嗷往上提,心情也舒畅啊。

不过啊,先别急着冲到官网去下载。有两个小门槛得注意:第一,这个超强提速的版本目前是预览发布,版本号是Ollama 0.19。第二,它对硬件有点要求,你需要一台统一内存超过32GB的Mac才能跑得动。毕竟想要马儿跑得快,得给马儿多吃草,大内存是本地AI的必备条件。

还有一点挺关键的,目前这个基于MLX的加速支持,还只限定在阿里巴巴的“Qwen3.5”这一个AI模型上。Ollama说,计划未来会给更多的AI模型也加上这种“御用加速”。所以,如果你现在主要跑的模型不是Qwen3.5,可能还得再等等,或者用回原来的通用版本。但不管咋说,这条路已经通了,而且证明快得离谱,其他模型跟上支持也就是个时间问题。

所以,总的来看,苹果这波通过MLX框架给开发生态“发糖”,Ollama第一时间接住并做出了示范,效果堪称炸裂。这对于所有苹果电脑用户、特别是开发者来说,是个实实在在的利好。它意味着在本地低成本、低延迟、高隐私地运行相当强大的AI模型,正在从“可以玩”变得“非常好用”。如果你的Mac够新、内存够大,又刚好用Qwen3.5,那赶紧去试试这个0.19预览版,体验一下什么叫“本地AI的Mac时刻”。这感觉,就像给你手里的生产力工具,悄悄换上了一颗更强劲的“AI心脏”。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册 微信登录

x
您需要登录后才可以回帖 登录 | 立即注册 微信登录

本版积分规则

APP|手机版|小黑屋|关于我们|联系我们|法律条款|技术知识分享平台

闽公网安备35020502000485号

闽ICP备2021002735号-2

GMT+8, 2026-4-1 12:38 , Processed in 0.249601 second(s), 9 queries , Gzip On, Redis On.

Powered by Discuz!

© MyDigit.Net Since 2006

快速回复 返回顶部 返回列表