12G显卡就能跑！IBM新AI模型太能扛：5个128K长对话同时聊 RTX3060直接起飞

Meise

就在上周五（今年5月2日），科技界老牌劲旅IBM冷不丁甩出个重磅消息——他们最新研发的Granite 4.0系列模型中，那个号称"小钢炮"的Granite 4.0 Tiny预览版已经上线。这玩意儿到底有多猛？说出来你可能不信，用张市价329美元的RTX 3060 12G显卡，就能同时开着5个128KB超长对话窗口，全程稳得一批。

这个预览版现在还是个"半成品"，但表现已经让人惊掉下巴。虽然完整版计划要"啃"15万亿个训练数据，目前只吃了2.5万亿的"开胃菜"，但实测性能直接看齐自家12万亿训练的Granite 3.3 2B版本。更夸张的是，在处理16个并发对话时，内存需求直接砍掉72%！据IBM官方透露，等它完成全套训练后，战斗力完全能和自家8B参数的Granite 3.3掰手腕。

为啥这小身板能这么能打？秘密全藏在它的混血架构里。Granite 4.0 Tiny把Mamba-2和Transformer这两大当红炸子鸡揉在一起，既保留了Transformer的精准度，又继承了Mamba的速度优势，7B参数里实际干活的主力军只有1B。这配置简直就是AI界的"省油小钢炮"，性能不缩水还特省电。

要说最离谱的还是它的硬件适配性。目前市面上的中端显卡就能扛住128KB的超长文本对话，这意味着普通开发者用家用电脑就能跑AI大模型。对比那些动不动就要专业级显卡的同行，IBM这次算是把门槛彻底踩到地底了。

现在这个"青春版"已经在Hugging Face开源社区上线，随便下随便用。官方预告今年夏天会放出正式版的Tiny、Small和Medium三档配置。照这趋势发展下去，AI大模型跑进千家万户的日子怕是真的要来了。

开心的果

AI大模型跑进千家万户的日子怕是真的要来了。

csljs

12G显卡就能跑

rrqxx

12G显卡就能跑！IBM新AI模型太能扛：5个128K长对话同时聊 RTX3060直接起飞

touchsmart

ai不吃显存是个梦

sean

显卡贵啊，反正总感觉就是一个字，贵！

isteed

辛苦发贴了

alexflying

12G显卡就能跑！IBM新AI模型太能扛：5个128K长对话同时聊 RTX3060直接起飞

yiguangqiang

12G显卡就能跑！IBM新AI模型太能扛：5个128K长对话同时聊 RTX3060直接起飞

ycfnxwl

12G显卡就能跑

cys9015

越来越多的AI开发 相信会越来越好

jtxch

5个128K长对话同时聊 RTX3060直接起飞

道幽亭静

12G显卡就能跑！IBM新AI模型太能扛：5个128K长对话同时聊 RTX3060直接起飞 。

msz09861

IBM新AI模型太能扛？希望都扛起来！

zrx166

牛逼先吹起来，不然过期了。

hznetmask

可以开展老人陪聊业务了

panmouse

12G显卡就能跑！IBM新AI模型太能扛：5个128K长对话同时聊 RTX3060直接起飞

合肥德机迷

科技界老牌劲旅IBM冷不丁甩出个重磅消息——他们最新研发的Granite 4.0系列模型中，

rex_wx

IBM冷不丁甩出个重磅消息——他们最新研发的Granite 4.0系列模型中，那个号称"小钢炮"的Granite 4.0 Tiny预览版已经上线。这玩意儿到底有多猛？说出来你可能不信，用张市价329美元的RTX 3060 12G显卡，就能同时开着5个128KB超长对话窗口，全程稳得一批。

南岸

12G显卡就能跑！IBM新AI模型太能扛