|
去年1月微软刚说要给电脑装AI芯片时,不少人还觉得这事有点远。现在他们真把7B和14B参数的DeepSeek模型塞进了Copilot+电脑,开发者已经能在VS Code里直接调用,相当于给电脑装了个能离线运行的AI引擎。
这事儿有几个看点:首先是模型跑在专门的NPU芯片上,不抢CPU和显卡的活儿,边跑AI边打游戏也不怕电脑发烫。微软用自家研发的Aqua工具把模型压缩到int4精度,不过目前14B大模型每秒只能处理8个单词,小个头的1.5B模型倒是能跑40个,官方说正在加班优化。
现在开发者能从微软的Azure AI平台下载这三个版本的模型(1.5B/7B/14B),文件格式是优化过的ONNX QDQ。有意思的是,虽然现在只支持高通骁龙X处理器的电脑,但微软明确说了,今年内搭载英特尔Ultra 200V和AMD锐龙芯片的Copilot+电脑也会陆续跟上。
要说实际影响,以后做AI应用可能不用总惦记着联网调接口了。比如写代码时让AI实时补全,或者给设计师搞个离线版的图生文工具,这些需要快速响应的场景可能会先吃上红利。当然现在大模型跑得还不够快,等微软把优化搞上去,说不定真能玩出些新花样。
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|