中科曙光发布AI推理原生存储FN Neo：Token吞吐能力提升150%

刘绪刚

快科技9月21日消息，中科曙光发布全新迭代AI推理原生存储FN Neo：TTFT缩减73%，Token吞吐提升150%
中科曙光发布全新迭代升级的AI推理原生存储FN Neo。该产品可将分散在不同计算节点的推理缓存统一管理、共享复用，应对长文本、多用户同时访问带来的压力，让已有计算成果得到更充分利用。
实测数据显示，FN Neo可实现模型首词出现时间（TTFT）缩减73%，较本地NVMe更快；延迟表现、吞吐量和多请求并发数相比传统本地NVMe均有大幅提升。
整体Token吞吐能力提升150%，有效压缩用户交互等待时长，强化系统并发服务能力。
针对生产级AI业务7 x 24小时不间断运行需求，FN Neo拥有99.999%高可靠性，多重故障防护机制保障推理业务连续不中断。
此外，产品兼容主流推理框架与多元组网环境，企业无需大规模改造现有系统即可完成部署，在复用现有推理生态前提下提质增效，有力支撑大模型、智能体规模化生产落地。