Chatterbox Multilingual V3 (語音模型)
gamedev pkg add aigd.tts-chatterbox-multilingual-v3總覽
Resemble AI 推出的 20 種語言本機文字轉語音:可從 3–60 秒片段克隆聲音,無需逐字稿,或以內建聲音朗讀,並有 Exaggeration 控制情緒。適合在地化遊戲對白與配音。在應用程式的 ONNX runtime 中以 CPU 執行,速度比即時慢。MIT。Resemble AI 已不再維護。
Chatterbox Multilingual V3 是 Resemble AI 的 0.5B 零樣本語音克隆文字轉語音模型,第 3 版(2026-06-10 發布),支援 20 種語言。給它一段 3–60 秒的參考語音片段,它就會用該聲音朗讀你的文字;沒有片段時則使用內建聲音。在 AI Game Dev 中,它會在應用程式內附的 ONNX runtime(onnx-tts@1)中以 CPU 執行,無需另外安裝任何東西。適合需要在多種語言中使用同一角色聲音,且能接受產生速度比即時慢的遊戲。
你可以製作什麼
- 在地化對白與配音:同一個克隆角色聲音可說阿拉伯語、德語、西班牙語、法語、印地語、韓語、俄語、土耳其語等。
- 透過 Exaggeration 控制,讓同一句台詞的情緒表現更強或更弱。
- 沒有參考片段時,可用內建聲音進行旁白與播報。
範例請求
- 「克隆
Audio/ref/hero.wav中的聲音,並用英語、德語和西班牙語說出『我們在黎明出發』。」 - 「用內建聲音朗讀這句韓語教學台詞。」
- 「用法語、以 Exaggeration 1.2 為生氣守衛的台詞配音。」
亮點
| 模型 ID | aigd.tts-chatterbox-multilingual-v3.q4 |
| 語言 | ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr |
| 聲音 | 內建聲音,或克隆一段 3–60 秒的片段(無需逐字稿;會使用前 6 秒) |
| Exaggeration | 0.25–2,預設 0.5 |
| 輸出 | 24 kHz,單聲道 |
| 每次請求文字上限 | 最多 3,000 個字元 |
| 執行於 | CPU(4 位元語言模型),我們的測試中尖峰記憶體約 2.2 GB |
| 下載 | 約 1.55 GB |
| 授權 | MIT,允許商業使用;輸出未加上浮水印 |
Multilingual V3 或 Turbo
- Chatterbox Multilingual V3(本套件):支援 20 種語言與 Exaggeration,僅限 CPU,速度比即時慢。多語言遊戲請選它。
- Chatterbox Turbo:僅支援英語,具備如
[laugh]與[cough]的聲音標籤,可在 GPU 上執行,或透過 llama.cpp 在 CPU 上執行,在 CPU 上比即時快。英語遊戲請選它。
運作方式
模型會在應用程式內附的 ONNX runtime(onnx-tts@1)中,以 4 位元語言模型在 CPU 上執行,無需另外安裝任何東西。3–60 秒的參考片段不需要逐字稿;模型會使用前 6 秒。Exaggeration(0.25–2,預設 0.5)決定聲音聽起來多有情緒;數值越高也會讓語速變快。
語言
ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr。V3 也列出中文、日文與希伯來文,但並未提供:這個 ONNX 建置缺少中文(倉頡)與日文(假名)的文字前端,因此這些文字大多會變成未知 token;而希伯來文(依上游做法,在未加變音符號的情況下輸入)在貪婪解碼下大多難以理解。俄語可用,但缺少上游的重音標記前端,因此某些詞的重音可能出錯。
速度與已知限制
在 32 核心 x86-64 CPU 上測得(DEV-167 快速驗證):13.8 秒產生 4.0 秒英語語音,11.8 秒產生 2.7 秒德語語音;尖峰記憶體約 2.2 GB。文字會以貪婪解碼逐句朗讀(每段最多 200 個字元),與 ONNX 參考實作相同;上游的取樣與無分類器引導並未包含在匯出檔中。少了上游的對齊分析器,貪婪解碼器有時不會在文字結束後停止(曾在 Exaggeration 0.8 觀察到),因此每段會以該段文字慢速朗讀的長度再加 1.5 秒為上限;可能出現長度不超過該上限的尾端模糊低語。
維護
截至 2026 年 8 月,Resemble AI 已將 Chatterbox 作為研究專案退役,並不再維護。Resemble 僅以 PyTorch 權重形式發布 V3;此處的 ONNX 計算圖是獨立轉換(Masterx/chatterbox-multilingual-v3-ONNX),與 Resemble AI 無關。onnx-community 匯出的版本(onnx-community/chatterbox-multilingual-ONNX)是第 2 版(2025),不是 V3。
授權
MIT。允許商業使用。
- Chatterbox(T3 語言模型
t3_mtl23ls_v3、S3Gen 解碼器、聲音編碼器)© 2025 Resemble AI — MIT 授權、模型卡(license: mit)。 - ONNX 轉換與本套件中的每個檔案(
onnx/speech_encoder*、onnx/embed_tokens*、onnx/language_model_q4*、onnx/conditional_decoder*、tokenizer.json、default_voice.wav)來自Masterx/chatterbox-multilingual-v3-ONNX的修訂版19b94afe41de738624b2f3afc75b4cd56221fbeb— LICENSE(MIT,Resemble AI 的)與 NOTICE.md。default_voice.wav是 onnx-community 的參考片段,由該轉換一併沿用。 - 應用程式的文字清理功能(
punc_norm)移植自 Resemble AI 的程式碼(MIT,© 2025 Resemble AI);其聲明位於應用程式的THIRD_PARTY_NOTICES.md。
重新散布權重時必須標示來源:保留 MIT 聲明 "Copyright (c) 2025 Resemble AI" 與授權條文。你產生的語音不需要標示來源。
限制,明確如下:
- 浮水印: Resemble AI 自家的 Python 套件會在每份輸出嵌入不可察覺的 Perth 浮水印。這些 ONNX 計算圖不含浮水印器,因此這裡產生的音訊不會加上浮水印。ONNX 轉換器的 README 要求任何部署它的人持續為產生的音訊加上浮水印(例如對輸出執行 Perth),並負責任地使用;Resemble 自己的模型卡只寫道「不要用這個模型做壞事」。
- 克隆的同意: 只克隆你有權使用的聲音。MIT 授權本身並未對模型設下使用限制;在你所在地區,冒充他人仍可能違法。
- 無地區限制,無營收上限。
- 不再維護:Resemble AI 已於 2026 年 8 月將此模型退役。
所有檔案都從 Hugging Face 下載。AI Game Dev 並不代為託管。
版本
| 版本 | 發布日期 | 需搭配應用程式 |
|---|---|---|
| 1.0.2最新 | 0.32.0-beta.6 或更新版本 | |
| 1.0.1 | 0.32.0-beta.6 或更新版本 |
安裝
在桌面應用程式中
開啟 套件 視窗(狀態列上的套件圖示),選擇 瀏覽,搜尋 aigd.tts-chatterbox-multilingual-v3,然後點選 加到專案。
還沒安裝應用程式?免費下載 AI Game Dev,支援 Windows、macOS 與 Linux。
從終端機
在你的專案資料夾中,使用 gamedev CLI:
gamedev pkg add aigd.tts-chatterbox-multilingual-v3需求
- AI Game Dev 0.32.0-beta.6 或更新版本
gamedev pkg add aigd.tts-chatterbox-multilingual-v3