Chatterbox Multilingual V3(语音模型)
gamedev pkg add aigd.tts-chatterbox-multilingual-v3概览
来自 Resemble AI 的本地文本转语音,支持 20 种语言:无需转录文本,即可从 3-60 s 的片段克隆音色,或使用内置音色朗读,并提供 Exaggeration 控制情感。适用于本地化游戏对白和配音。在应用的 ONNX 运行时中以 CPU 运行,速度慢于实时。MIT。Resemble AI 已不再维护。
Chatterbox Multilingual V3 是 Resemble AI 的 0.5B 零样本语音克隆文本转语音模型,版本 3(发布于 2026-06-10),支持 20 种语言。给它一段 3–60 s 的参考音频,它就会用该音色朗读你的文本;不提供片段时则使用内置音色。在 AI Game Dev 中,它在应用内置的 ONNX 运行时(onnx-tts@1)中以 CPU 运行,无需安装其他东西。它适合需要在多种语言中使用同一角色音色、并且可以接受慢于实时生成速度的游戏。
你可以制作什么
- 本地化对白与配音:同一个克隆角色音色说出阿拉伯语、德语、西班牙语、法语、印地语、韩语、俄语、土耳其语等。
- 用 Exaggeration 控制同一条台词的情感强弱。
- 没有参考片段时,用内置音色进行旁白和播报。
示例请求
- “克隆
Audio/ref/hero.wav中的音色,然后用英语、德语和西班牙语说‘We leave at dawn’。” - “用内置音色朗读这条韩语教程台词。”
- “用 Exaggeration 1.2 说法语版愤怒守卫的台词。”
亮点
| 模型 id | aigd.tts-chatterbox-multilingual-v3.q4 |
| 语言 | ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr |
| 音色 | 内置音色,或从 3–60 s 片段克隆(无需转录文本;只使用前 6 s) |
| Exaggeration | 0.25–2,默认 0.5 |
| 输出 | 24 kHz,单声道 |
| 每次请求的文本 | 最多 3,000 个字符 |
| 运行于 | CPU(4-bit 语言模型),在我们的测试中峰值内存约 2.2 GB |
| 下载 | 约 1.55 GB |
| 许可 | MIT,允许商业使用;输出不含水印 |
Multilingual V3 还是 Turbo
- Chatterbox Multilingual V3(本包):20 种语言和 Exaggeration,仅 CPU,慢于实时。多语言游戏选它。
- Chatterbox Turbo:仅英语,支持
[laugh]、[cough]等声音标签,可在 GPU 上运行,或通过 llama.cpp 在 CPU 上运行,在 CPU 上快于实时。英语游戏选它。
运行方式
模型在应用内置的 ONNX 运行时(onnx-tts@1)中以 CPU 运行 4-bit 语言模型,无需安装其他东西。3–60 s 的参考片段不需要转录文本;模型只使用其前 6 s。Exaggeration(0.25–2,默认 0.5)决定情感强度;数值越高语速也会越快。
语言
ar、da、de、el、en、es、fi、fr、hi、it、ko、ms、nl、no、pl、pt、ru、sv、sw、tr。V3 还列出了中文、日语和希伯来语,但并未提供:此 ONNX 构建缺少中文(仓颉)和日语(假名)文本前端,因此它们的文本大多成为未知 token;而希伯来语(按上游做法不加变音符号输入)在贪心解码下大部分难以听懂。俄语可用,但缺少上游的重音标记前端,因此某些词的重音可能有误。
速度与已知限制
在 32 核 x86-64 CPU 上测得(DEV-167 冒烟测试):4.0 s 英语语音耗时 13.8 s,2.7 s 德语耗时 11.8 s;峰值内存约 2.2 GB。文本按句逐句朗读(每段最多 200 个字符),采用贪心解码,与 ONNX 参考实现一致;上游的采样和无分类器引导未包含在导出中。由于缺少上游的对齐分析器,贪心解码器有时在文本结束后不会停止(在 Exaggeration 0.8 时出现过),因此每段被限制为其文本慢速朗读长度加 1.5 s 的上限;可能出现不超过该上限的尾部杂音。
维护状态
截至 2026 年 8 月,Resemble AI 已将 Chatterbox 作为研究项目退役,不再维护。Resemble 仅以 PyTorch 权重形式发布 V3;这里的 ONNX 图是独立转换(Masterx/chatterbox-multilingual-v3-ONNX),与 Resemble AI 无关。onnx-community 的导出版本(onnx-community/chatterbox-multilingual-ONNX)是版本 2(2025),不是 V3。
许可
MIT。 允许商业使用。
- Chatterbox(T3 语言模型
t3_mtl23ls_v3、S3Gen 解码器、语音编码器)© 2025 Resemble AI — MIT 许可、模型卡(license: mit)。 - ONNX 转换及本包中的每个文件(
onnx/speech_encoder*、onnx/embed_tokens*、onnx/language_model_q4*、onnx/conditional_decoder*、tokenizer.json、default_voice.wav)来自Masterx/chatterbox-multilingual-v3-ONNX的修订版19b94afe41de738624b2f3afc75b4cd56221fbeb— LICENSE(MIT,Resemble AI 的)和 NOTICE.md。default_voice.wav是 onnx-community 的参考片段,由该转换沿用。 - 应用的文本清理(
punc_norm)移植自 Resemble AI 的代码(MIT,© 2025 Resemble AI);其声明位于应用的THIRD_PARTY_NOTICES.md中。
再分发权重时必须保留的署名:保留 MIT 声明 "Copyright (c) 2025 Resemble AI" 和许可文本。你生成的语音无需署名。
限制,直说:
- 水印: Resemble AI 自家的 Python 包会在每份输出中嵌入不可感知的 Perth 水印。这些 ONNX 图不包含水印器,所以这里生成的音频没有水印。ONNX 转换者的 README 要求任何部署它的人继续为生成的音频添加水印(例如对输出运行 Perth),并负责任地使用;Resemble 自己的模型卡只说“不要用这个模型做坏事”。
- 克隆的同意: 只克隆你有权使用的音色。MIT 许可本身对模型没有使用限制;但冒充他人在你所在地区仍可能违法。
- 没有地域限制,没有收入上限。
- 不再维护:Resemble AI 已于 2026 年 8 月退役该模型。
所有文件均从 Hugging Face 下载。AI Game Dev 不托管这些文件。
版本
| 版本 | 发布时间 | 需要应用 |
|---|---|---|
| 1.0.2最新 | 0.32.0-beta.6 或更高版本 | |
| 1.0.1 | 0.32.0-beta.6 或更高版本 |
安装
在桌面应用中安装
打开包窗口(状态栏中的包图标),选择浏览,搜索 aigd.tts-chatterbox-multilingual-v3,然后点击添加到项目。
还没安装应用?免费下载 AI Game Dev,支持 Windows、macOS 和 Linux。
从终端安装
在项目文件夹中使用 gamedev CLI:
gamedev pkg add aigd.tts-chatterbox-multilingual-v3环境要求
- AI Game Dev 0.32.0-beta.6 或更高版本
gamedev pkg add aigd.tts-chatterbox-multilingual-v3