|
本帖最后由 Meise 于 2025-1-28 18:31 编辑
据外媒 TPU 1月28号报道,全球存储解决方案领导者铠侠株式会社今日宣布开源其全存储式近似最近邻搜索技术(AiSAQ)。这项专为固态硬盘优化的创新算法,通过直接在SSD执行向量检索,成功绕开传统方案对DRAM内存的依赖,为生成式AI的检索增强生成(RAG)系统带来突破性性能提升。
生成式AI系统对计算、内存及存储资源的巨大消耗,已成为制约其大规模应用的关键瓶颈。作为AI进化的关键环节,检索增强生成技术通过将企业专属数据注入大语言模型(LLM)实现精准调优。其核心在于向量数据库的建设——需将海量数据转化为特征向量,并借助近似最近邻搜索算法(ANNS)实现毫秒级相似度匹配。传统方案为追求速度,不得不将索引数据预载至DRAM内存,这在处理十亿级数据集时面临严峻成本压力。
铠侠AiSAQ技术通过三大创新实现破局:
内存零占用架构:直接在SSD构建索引,突破DRAM容量限制,支持超大规模向量数据库实时检索
瞬时切换能力:无需重新加载数据索引,实现多用户/多应用场景下的数据库秒级切换
云原生优化:支持分布式存储架构下的跨服务器索引共享,动态调整搜索实例部署,实现硬件资源弹性调度
"通过将这项突破性技术开源,我们期待加速AI存储架构的范式变革。"铠侠技术负责人在声明中强调。目前AiSAQ开源代码库已在GitHub发布(github.com/kioxiaamerica/aisaq-diskann),实测数据显示其可在大幅降低硬件成本的同时,保持与内存方案相当的检索效率,为医疗诊断、金融建模等实时性要求严苛的AI场景提供新选择。
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|