# Chatterbox Multilingual V3（语音模型）

> 来自 Resemble AI 的本地文本转语音，支持 20 种语言：无需转录文本，即可从 3-60 s 的片段克隆音色，或使用内置音色朗读，并提供 Exaggeration 控制情感。适用于本地化游戏对白和配音。在应用的 ONNX 运行时中以 CPU 运行，速度慢于实时。MIT。Resemble AI 已不再维护。

- ID: `aigd.tts-chatterbox-multilingual-v3`
- 来源: 官方 (第一方 `aigd.*`)
- 分类: 音频
- 发布者: AI Game Dev (`aigd`), 已验证
- 最新版本: 1.0.2 (发布于 2026-11-22)
- 许可证: MIT
- 需要 AI Game Dev 应用: `>=0.32.0-beta.6`
- 原生代码: 否
- 评分: 暂无评分
- HTML 页面: https://ai-game.dev/zh-hans/packages/aigd.tts-chatterbox-multilingual-v3

## 安装

使用 gamedev CLI，在项目文件夹中运行：

```bash
gamedev pkg add aigd.tts-chatterbox-multilingual-v3
```

在桌面应用中：打开 Packages 窗口（状态栏中的包图标），选择 **Browse**，搜索 `aigd.tts-chatterbox-multilingual-v3`，然后点击 **Add to Project**。更多：https://ai-game.dev/docs/wiki/app/packages

## 版本

| 版本 | 发布时间 | 需要应用 | 备注 |
|---|---|---|---|
| 1.0.2 | 2026-11-22 | `>=0.32.0-beta.6` | 最新 |
| 1.0.1 | 2026-11-21 | `>=0.32.0-beta.6` | - |

## 描述

````markdown
# Chatterbox Multilingual V3 (`aigd.tts-chatterbox-multilingual-v3`)

Chatterbox Multilingual V3 是 Resemble AI 的 0.5B 零样本语音克隆文本转语音模型，版本 3（发布于 2026-06-10），支持 20 种语言。给它一段 3–60 s 的参考音频，它就会用该音色朗读你的文本；不提供片段时则使用内置音色。在 AI Game Dev 中，它在应用内置的 ONNX 运行时（`onnx-tts@1`）中以 CPU 运行，无需安装其他东西。它适合需要在多种语言中使用同一角色音色、并且可以接受慢于实时生成速度的游戏。

## 你可以制作什么

- 本地化对白与配音：同一个克隆角色音色说出阿拉伯语、德语、西班牙语、法语、印地语、韩语、俄语、土耳其语等。
- 用 **Exaggeration** 控制同一条台词的情感强弱。
- 没有参考片段时，用内置音色进行旁白和播报。

## 示例请求

- “克隆 `Audio/ref/hero.wav` 中的音色，然后用英语、德语和西班牙语说‘We leave at dawn’。”
- “用内置音色朗读这条韩语教程台词。”
- “用 Exaggeration 1.2 说法语版愤怒守卫的台词。”

## 亮点

|  |  |
|---|---|
| 模型 id | `aigd.tts-chatterbox-multilingual-v3.q4` |
| 语言 | ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr |
| 音色 | 内置音色，或从 3–60 s 片段克隆（无需转录文本；只使用前 6 s） |
| Exaggeration | 0.25–2，默认 0.5 |
| 输出 | 24 kHz，单声道 |
| 每次请求的文本 | 最多 3,000 个字符 |
| 运行于 | CPU（4-bit 语言模型），在我们的测试中峰值内存约 2.2 GB |
| 下载 | 约 1.55 GB |
| 许可 | MIT，允许商业使用；输出不含水印 |

## Multilingual V3 还是 Turbo

- **Chatterbox Multilingual V3**（本包）：20 种语言和 Exaggeration，仅 CPU，慢于实时。多语言游戏选它。
- **[Chatterbox Turbo](https://ai-game.dev/packages/aigd.tts-chatterbox-turbo)**：仅英语，支持 `[laugh]`、`[cough]` 等声音标签，可在 GPU 上运行，或通过 llama.cpp 在 CPU 上运行，在 CPU 上快于实时。英语游戏选它。

## 运行方式

模型在应用内置的 ONNX 运行时（`onnx-tts@1`）中以 CPU 运行 4-bit 语言模型，无需安装其他东西。3–60 s 的参考片段不需要转录文本；模型只使用其前 6 s。**Exaggeration**（0.25–2，默认 0.5）决定情感强度；数值越高语速也会越快。

## 语言

ar、da、de、el、en、es、fi、fr、hi、it、ko、ms、nl、no、pl、pt、ru、sv、sw、tr。V3 还列出了中文、日语和希伯来语，但并未提供：此 ONNX 构建缺少中文（仓颉）和日语（假名）文本前端，因此它们的文本大多成为未知 token；而希伯来语（按上游做法不加变音符号输入）在贪心解码下大部分难以听懂。俄语可用，但缺少上游的重音标记前端，因此某些词的重音可能有误。

## 速度与已知限制

在 32 核 x86-64 CPU 上测得（DEV-167 冒烟测试）：4.0 s 英语语音耗时 13.8 s，2.7 s 德语耗时 11.8 s；峰值内存约 2.2 GB。文本按句逐句朗读（每段最多 200 个字符），采用贪心解码，与 ONNX 参考实现一致；上游的采样和无分类器引导未包含在导出中。由于缺少上游的对齐分析器，贪心解码器有时在文本结束后不会停止（在 Exaggeration 0.8 时出现过），因此每段被限制为其文本慢速朗读长度加 1.5 s 的上限；可能出现不超过该上限的尾部杂音。

## 维护状态

截至 2026 年 8 月，Resemble AI 已将 Chatterbox 作为研究项目退役，不再维护。Resemble 仅以 PyTorch 权重形式发布 V3；这里的 ONNX 图是独立转换（[`Masterx/chatterbox-multilingual-v3-ONNX`](https://huggingface.co/Masterx/chatterbox-multilingual-v3-ONNX)），与 Resemble AI 无关。onnx-community 的导出版本（`onnx-community/chatterbox-multilingual-ONNX`）是版本 2（2025），不是 V3。

## 许可

**MIT。** 允许商业使用。

- Chatterbox（T3 语言模型 `t3_mtl23ls_v3`、S3Gen 解码器、语音编码器）© 2025 Resemble AI — [MIT 许可](https://github.com/resemble-ai/chatterbox/blob/ab55923c27757c90cfcc407baa57dc25a7d25217/LICENSE)、[模型卡](https://huggingface.co/ResembleAI/chatterbox)（`license: mit`）。
- ONNX 转换及本包中的每个文件（`onnx/speech_encoder*`、`onnx/embed_tokens*`、`onnx/language_model_q4*`、`onnx/conditional_decoder*`、`tokenizer.json`、`default_voice.wav`）来自 [`Masterx/chatterbox-multilingual-v3-ONNX`](https://huggingface.co/Masterx/chatterbox-multilingual-v3-ONNX/tree/19b94afe41de738624b2f3afc75b4cd56221fbeb) 的修订版 `19b94afe41de738624b2f3afc75b4cd56221fbeb` — [LICENSE](https://huggingface.co/Masterx/chatterbox-multilingual-v3-ONNX/blob/19b94afe41de738624b2f3afc75b4cd56221fbeb/LICENSE)（MIT，Resemble AI 的）和 [NOTICE.md](https://huggingface.co/Masterx/chatterbox-multilingual-v3-ONNX/blob/19b94afe41de738624b2f3afc75b4cd56221fbeb/NOTICE.md)。`default_voice.wav` 是 onnx-community 的参考片段，由该转换沿用。
- 应用的文本清理（`punc_norm`）移植自 Resemble AI 的代码（MIT，© 2025 Resemble AI）；其声明位于应用的 `THIRD_PARTY_NOTICES.md` 中。

再分发权重时必须保留的署名：保留 MIT 声明 "Copyright (c) 2025 Resemble AI" 和许可文本。你生成的语音无需署名。

限制，直说：

- **水印：** Resemble AI 自家的 Python 包会在每份输出中嵌入不可感知的 Perth 水印。这些 ONNX 图不包含水印器，所以**这里生成的音频没有水印**。ONNX 转换者的 README 要求任何部署它的人继续为生成的音频添加水印（例如对输出运行 Perth），并负责任地使用；Resemble 自己的模型卡只说“不要用这个模型做坏事”。
- **克隆的同意：** 只克隆你有权使用的音色。MIT 许可本身对模型没有使用限制；但冒充他人在你所在地区仍可能违法。
- 没有地域限制，没有收入上限。
- 不再维护：Resemble AI 已于 2026 年 8 月退役该模型。

所有文件均从 Hugging Face 下载。AI Game Dev 不托管这些文件。
````
