数码之家

 找回密码
 立即注册

QQ登录

只需一步,快速开始

微信登录

微信扫一扫,快速登录

搜索
查看: 32|回复: 0

[科技] 哔哩哔哩自研语音生成大模型IndexTTS-2.0 正式开源

[复制链接]
发表于 昨天 22:07 | 显示全部楼层 |阅读模式

爱科技、爱创意、爱折腾、爱极致,我们都是技术控

您需要 登录 才可以下载或查看,没有账号?立即注册 微信登录

x
B站(Bilibili)昨日(9 月 8 日)发布公告,宣布正式开源其自研语音生成大模型 IndexTTS-2.0,是首个支持精确时长控制(Duration Control)的自回归(Autoregressive)零样本文本转语音(TTS)系统。
IT之家援引 GitHub 页面介绍,相比较传统逐 token 生成的 TTS 系统,IndexTTS-2.0 首次在自回归架构中实现了精准时长控制,特别适合视频配音等需严格音画同步的应用场景。
据介绍,IndexTTS2 支持两种生成模式:
  • 一种可通过明确指定生成的 token 数实现精确时长控制;
  • 另一种则自由生成,保持输入提示的韵律特征。
在声音表达上,IndexTTS2 实现了情感特征与说话人音色的解耦(Emotion-Speaker Disentanglement):分离说话人音色与情绪特征,分别控制。
这意味着用户可以独立指定音色来源和情绪来源,例如用一段音频保留音色,再用另一段不同情感的音频或文本描述赋予情绪,在零样本条件下,模型能精准还原目标音色并完全重现指定情绪。
为提升高情感表达下的语音清晰度,团队引入了 GPT 潜在表示,并设计三阶段训练策略增强生成稳定性。此外,他们基于 Qwen3 微调实现了“软指令”机制,允许用户通过自然语言描述来直观控制情绪方向,降低使用门槛。
在技术性能上,多数据集实验表明,IndexTTS2 在词错率、说话人相似度和情绪保真度上均超越当前最先进零样本 TTS 模型。其方法具备良好扩展性,可应用于其他大型自回归 TTS 系统。团队表示,将公开代码和预训练权重,推动学术研究与产业落地。

您需要登录后才可以回帖 登录 | 立即注册 微信登录

本版积分规则

APP|手机版|小黑屋|关于我们|联系我们|法律条款|技术知识分享平台

闽公网安备35020502000485号

闽ICP备2021002735号-2

GMT+8, 2025-9-10 15:03 , Processed in 0.093600 second(s), 9 queries , Gzip On, Redis On.

Powered by Discuz!

© 2006-2025 MyDigit.Net

快速回复 返回顶部 返回列表