Linux文件系统EROFS升级48位寻址 支持EB级AI训练数据存储

Meise

"AI模型训练需要处理的数据量每18个月翻一番，存储系统却卡在16TB的天花板动弹不得。"阿里云技术团队负责人高翔在Linux内核邮件组中写道。这个困扰开发者的难题即将迎来转机——开源社区宣布将在Linux 6.15内核中为EROFS文件系统增加48位寻址支持，使其存储容量上限突破EB量级。

作为专为只读场景优化的轻量级文件系统，EROFS现行版本受限于32位块寻址机制，使用4KB存储单元时最大仅支持16TB容量。但在处理大型语言模型所需的万亿级参数时，这样的存储规模明显捉襟见肘。阿里云主导的技术升级通过重构索引结构，将文件系统的寻址能力提升1.6万倍，同时保留原有的压缩特性。

技术文档显示，新版EROFS主要实现三大改进：支持超过1EB的超大规模数据存储；为Zstd压缩算法设计专用元数据格式；在紧凑型索引节点中嵌入时间戳记录。在配备96核处理器的测试环境中，处理9GB维基百科数据集时，新架构使文件系统构建时间从232秒缩短至13秒，压缩效率提升18倍。

高翔在技术说明中强调，此次升级不仅解决AI训练时海量数据的随机存取难题，还可直接对接云端对象存储系统。目前该方案已完成稳定性测试，预计随Linux 6.15内核于今年第三季度发布。

此次技术迭代反映出开源社区应对智能计算需求的快速响应能力。随着大模型参数量突破百万亿级别，存储系统的性能优化已成为制约算法发展的关键环节。EROFS的革新或将推动分布式训练、边缘智能等场景实现新的突破。

leafchy

都是为了AI服务。

three99

想想这个内存规模就恐怖

dcrew

内存大，才能干好活！

mengfc

Linux文件系统EROFS升级48位寻址 支持EB级AI训练数据存储

kenwa

Linux文件系统EROFS升级48位寻址 支持EB级AI训练数据存储 - 数码前沿 数码之家

smallanntse

增加48位寻址支持，还不如一次到位，增加到64位

jtxch

Linux文件系统EROFS升级48位寻址 支持EB级AI训练数据存储

ycfnxwl

Linux文件系统EROFS升级48位寻址

leapage

少数人的盛宴啊

lsp2002

回复本帖可获得 3 家元奖励! 每人限 1 次(中奖概率 90%)

cys9015

期待国产系统的崛起

yiguangqiang

Linux文件系统EROFS升级48位寻址 支持EB级AI训练数据存储

sadfun

Linux文件系统EROFS升级48位寻址

panmouse

Linux文件系统EROFS升级48位寻址 支持EB级AI训练数据存储

newboyfeng

寻址能力更强了

vvtt

文件系统EROFS升级48

zrx166

砸钱砸的欢啊。

Osok

Linux文件系统EROFS升级48位寻址 支持EB级

凤城

Linux文件系统EROFS升级48位寻址