|
朋友们,微软给Windows电脑玩AI本地化的劲儿头越来越足了!去年(2024年),他们推出了Copilot+ PC 这种“AI特化电脑”,里面装着算力超强的专用 神经处理单元(NPU),速度能飙到 40 TOPS 以上。这类电脑自带了微软一个叫 Phi-Silica 的本地运行小语言模型(SLM),专门给自家应用和一些第三方软件提供智能语言服务。
现在,微软又亮出了新家伙!他们在 Windows 11 系统里面塞进了一个全新的本地小语言模型,名字叫 Mu。这玩意儿是干嘛的呢?微软的想法挺酷:想让咱们调电脑设置像跟人聊天一样简单!他们给 系统设置(Settings)应用加了个“懂人话”的智能小帮手。以后你想改点啥设置,不用在菜单里大海捞针,直接对着搜索框用大白话说就行,比如“怎么关掉开机启动的XX软件?”,这个由 Mu 驱动的助手就能理解你的意思,把结果直接塞到搜索框下边,找起来又快又自然。
为了这个功能,微软专门开发了 Mu 模型来做后台大脑。而且动作挺快,最近已经开始面向开发者频道(Dev Channel)里那些尝鲜的 Windows 预览体验成员(Insiders) 推送了更新,前提是你得有台 Copilot+ PC 才能体验。
跟前辈 Phi-Silica 一样,Mu 也是为 NPU 这“跑马场”量身定做的,速度一点不马虎。微软说了,Mu 在电脑本地 NPU 上跑起来,输出结果的速度贼快—— 每秒能生成超过 100 个词元(token)。官方博文也扒了扒 Mu 的老底儿:
Mu 是个 参数规模 3.3 亿(330M) 的模型,内部采用了 编码器-解码器 这种架构设计。
为啥选这结构?因为它效率高!同样参数规模下,比只用解码器的那种老式模型响应 第一个词元的时间快了近一半(降低约 47%),而且 生成后续内容的速度更是飙升了 4.7 倍。
为了让这个“小脑”在电脑里跑得轻松点,Mu 在内部某些部件上用了权重共享的小花招,有效压缩了总的参数量。
它的本事在微软自家的 Azure 机器学习 平台上练成的,用了一大堆 NVIDIA A100 GPU 狠狠训出来的。
性能挺有惊喜:Mu 的“个头”只有微软另一个模型 Phi-3.5-mini 的 十分之一,但练好了之后干起活来,居然能跟这位“壮汉”兄弟 差不多水平。
不过 Mu 更擅长处理 完整的多词问题。要是你只在设置搜索框里敲一两个词或者打了一半儿,系统暂时还是会把老一套关键词和语义搜索的结果先丢给你,免得掉链子。
你要是对这种能用说话来控设置的黑科技感兴趣,正好手上有 Copilot+ PC 还加入了开发者频道,那就可以去升级到 Windows 11 Build 26120.3964 (KB5058496) 或更新的版本。装好后打开系统设置,试试用大白话指挥它吧,看看这小脑瓜灵不灵!
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|