京东开源JoyAI-Echo长音视频生成框架

刘绪刚

凤凰网科技讯 6月3日，京东推出JoyAI-Echo长音视频生成框架。该框架直接解决了行业长期存在的“长视频生成三大难题”——角色易崩、声音乱变、生成缓慢，并实现了对话式编辑功能。京东方面表示，这标志着其在长视频生成领域进入全球第一梯队。
该框架包含四项核心技术创新。一是跨模态音视频记忆库，能在多镜头生成过程中持续保存并调用角色的外观特征和说话人音色信息，在长达5分钟的视频中也能保持身份、形象与声音的高度一致。二是记忆驱动后训练，结合SFT、跨模态RLHF和DMD等技术，仅DMD一项就实现了约7.5倍的推理加速。三是Director Agent智能导演助理，用户用自然语言提出需求，系统自动拆分成剧本、角色和镜头，局部修改无需重跑整条视频。四是轻量化实时超分模块，支持两档分辨率提升，保障高清输出不卡顿。

为评估性能，研究团队基于100个故事、3000个镜头构建了专门评测集。实测显示，JoyAI-Echo在跨镜头一致性、视频质量、文本一致性等核心指标上均领先，其中语音内容准确率高达0.8646。在用户偏好调研中，81.7%的用户认为其音频质量更优，80.6%认为提示词遵循度更高，63.6%认为视觉美学更佳。
目前，JoyAI-Echo的代码与权重已全部开源，项目页和GitHub代码仓库已正式上线，供开发者和创作者体验及二次开发。该框架可广泛应用于虚拟故事创作、数字人直播、品牌营销视频制作及影视前期预演等多个场景。