AMD神队友Nexa AI出手！4比特模型智商不掉线秘诀曝光

Meise

眼看着AI模型越做越聪明，可一装进手机就变"人工智障"？这个困扰行业多年的魔咒，最近被AMD和Nexa AI的黄金组合打破了！他们捣鼓出的新技术，愣是让"瘦身"四分之三的4比特模型，保住了原版16位精度的智商水平。

这事儿得从量化技术的痛点说起。以往给大模型"减肥"就像给百科全书做缩印——虽然体积小了，但关键内容容易缺页。特别是需要逻辑推理的任务，传统Q4_K_M量化方法总会让模型"脑子转不过弯"。Nexa AI这次祭出的NexaQuant方案，相当于给压缩模型装了"思维防丢失"机制，让DeepSeek R1 Distill系列在瘦身后照样能捋清复杂逻辑链。

目前开放的两个版本挺有意思：1.5B参数的Qwen版主打轻量化，8B参数的Llama版专注高性能。官方测试数据显示，在GPQA专业题库里，量化版和原版差距微乎其微；更厉害的是AIME24医学诊断测试，8B量化版准确率几乎追平原版，要知道普通量化方法在这里会直接跌掉两成实力。

AMD用户想尝鲜的话，五步就能玩转：

打开LM Studio官网（lmstudio.ai/ryzenai）下载软件

在探索页面粘贴Huggingface模型链接

等进度条跑完别着急关网页

切到聊天界面手动选择模型参数

把GPU加速选项调到头就开始唠嗑吧

开发者们也迎来了新生产力工具，把这套方案塞进llama.cpp框架后，响应速度比6比特方案快三成，内存占用还减半。看来让手机流畅运行百亿参数模型的日子，真要被这对技术拍档提前实现了！