Ollama自研引擎上线！多模态AI本地推理性能翻倍

Meise

科技媒体WinBuzzer昨日（5月16日）曝出猛料——开源大模型工具Ollama正式推出自主研发的多模态AI推理引擎，告别对llama.cpp框架的依赖，直接在本地处理图片、文本时展现出“降维打击级”的效率提升。

与llama.cpp划清界限
此次更新背后暗藏技术路线之争。此前，llama.cpp项目通过libmtmd库实现了视觉支持，业界猜测Ollama可能沿用其C++方案。然而Ollama团队成员在开发者论坛Hacker News上甩出实锤证据：新引擎完全基于Golang语言独立开发，未使用任何llama.cpp代码，并强调“从内存管理到硬件适配均为原创方案”。

四大核心技术突破
面对Llama 4（1090亿参数混合专家模型）、Gemma 3等新一代AI模型对算力的恐怖需求，Ollama祭出四招杀手锏：

图像元数据处理：给每张图片添加位置标记，解决多图输入时像素错乱问题
KVCache黑科技（Key-Value缓存优化技术）：让Transformer模型推理速度提升40%
内存回收机制：新增图像缓存池，避免重复处理同一素材浪费资源
硬件合作生态：联合NVIDIA/AMD/英特尔等芯片巨头，精准检测GPU/CPU型号后自动分配最优内存方案

大模型优化实锤案例
以Meta的Llama 4 Scout（1090亿参数MoE模型）为例，新引擎支持分块注意力机制（将长文本拆解处理）和2D旋转嵌入技术（提升空间位置感知能力）。实测显示，处理10张4K图片+千字描述的场景下，显存占用减少35%，生成速度翻倍。

Ollama官方技术白皮书透露，下一步将支持超长文本上下文连贯性优化、逻辑推理链自动修正功能，以及实时流式响应工具调用。想要尝鲜的开发者，可通过官网下载最新0.6.1版本体验。

消息来源：麻瓜漫讯