本頁面由英文機器翻譯而成。閱讀英文原文。

Chatterbox Multilingual V3 (語音模型)

官方音訊v1.0.2aigd.tts-chatterbox-multilingual-v3
安裝 還沒安裝應用程式?免費下載
或在終端機中執行
gamedev pkg add aigd.tts-chatterbox-multilingual-v3

總覽

Resemble AI 推出的 20 種語言本機文字轉語音:可從 3–60 秒片段克隆聲音,無需逐字稿,或以內建聲音朗讀,並有 Exaggeration 控制情緒。適合在地化遊戲對白與配音。在應用程式的 ONNX runtime 中以 CPU 執行,速度比即時慢。MIT。Resemble AI 已不再維護。

Chatterbox Multilingual V3 是 Resemble AI 的 0.5B 零樣本語音克隆文字轉語音模型,第 3 版(2026-06-10 發布),支援 20 種語言。給它一段 3–60 秒的參考語音片段,它就會用該聲音朗讀你的文字;沒有片段時則使用內建聲音。在 AI Game Dev 中,它會在應用程式內附的 ONNX runtime(onnx-tts@1)中以 CPU 執行,無需另外安裝任何東西。適合需要在多種語言中使用同一角色聲音,且能接受產生速度比即時慢的遊戲。

你可以製作什麼

  • 在地化對白與配音:同一個克隆角色聲音可說阿拉伯語、德語、西班牙語、法語、印地語、韓語、俄語、土耳其語等。
  • 透過 Exaggeration 控制,讓同一句台詞的情緒表現更強或更弱。
  • 沒有參考片段時,可用內建聲音進行旁白與播報。

範例請求

  • 「克隆 Audio/ref/hero.wav 中的聲音,並用英語、德語和西班牙語說出『我們在黎明出發』。」
  • 「用內建聲音朗讀這句韓語教學台詞。」
  • 「用法語、以 Exaggeration 1.2 為生氣守衛的台詞配音。」

亮點

模型 IDaigd.tts-chatterbox-multilingual-v3.q4
語言ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr
聲音內建聲音,或克隆一段 3–60 秒的片段(無需逐字稿;會使用前 6 秒)
Exaggeration0.25–2,預設 0.5
輸出24 kHz,單聲道
每次請求文字上限最多 3,000 個字元
執行於CPU(4 位元語言模型),我們的測試中尖峰記憶體約 2.2 GB
下載約 1.55 GB
授權MIT,允許商業使用;輸出未加上浮水印

Multilingual V3 或 Turbo

  • Chatterbox Multilingual V3(本套件):支援 20 種語言與 Exaggeration,僅限 CPU,速度比即時慢。多語言遊戲請選它。
  • Chatterbox Turbo:僅支援英語,具備如 [laugh] 與 [cough] 的聲音標籤,可在 GPU 上執行,或透過 llama.cpp 在 CPU 上執行,在 CPU 上比即時快。英語遊戲請選它。

運作方式

模型會在應用程式內附的 ONNX runtime(onnx-tts@1)中,以 4 位元語言模型在 CPU 上執行,無需另外安裝任何東西。3–60 秒的參考片段不需要逐字稿;模型會使用前 6 秒。Exaggeration(0.25–2,預設 0.5)決定聲音聽起來多有情緒;數值越高也會讓語速變快。

語言

ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr。V3 也列出中文、日文與希伯來文,但並未提供:這個 ONNX 建置缺少中文(倉頡)與日文(假名)的文字前端,因此這些文字大多會變成未知 token;而希伯來文(依上游做法,在未加變音符號的情況下輸入)在貪婪解碼下大多難以理解。俄語可用,但缺少上游的重音標記前端,因此某些詞的重音可能出錯。

速度與已知限制

在 32 核心 x86-64 CPU 上測得(DEV-167 快速驗證):13.8 秒產生 4.0 秒英語語音,11.8 秒產生 2.7 秒德語語音;尖峰記憶體約 2.2 GB。文字會以貪婪解碼逐句朗讀(每段最多 200 個字元),與 ONNX 參考實作相同;上游的取樣與無分類器引導並未包含在匯出檔中。少了上游的對齊分析器,貪婪解碼器有時不會在文字結束後停止(曾在 Exaggeration 0.8 觀察到),因此每段會以該段文字慢速朗讀的長度再加 1.5 秒為上限;可能出現長度不超過該上限的尾端模糊低語。

維護

截至 2026 年 8 月,Resemble AI 已將 Chatterbox 作為研究專案退役,並不再維護。Resemble 僅以 PyTorch 權重形式發布 V3;此處的 ONNX 計算圖是獨立轉換(Masterx/chatterbox-multilingual-v3-ONNX),與 Resemble AI 無關。onnx-community 匯出的版本(onnx-community/chatterbox-multilingual-ONNX)是第 2 版(2025),不是 V3。

授權

MIT。允許商業使用。

  • Chatterbox(T3 語言模型 t3_mtl23ls_v3、S3Gen 解碼器、聲音編碼器)© 2025 Resemble AI — MIT 授權、模型卡(license: mit)。
  • ONNX 轉換與本套件中的每個檔案(onnx/speech_encoder*、onnx/embed_tokens*、onnx/language_model_q4*、onnx/conditional_decoder*、tokenizer.json、default_voice.wav)來自 Masterx/chatterbox-multilingual-v3-ONNX 的修訂版 19b94afe41de738624b2f3afc75b4cd56221fbeb — LICENSE(MIT,Resemble AI 的)與 NOTICE.md。default_voice.wav 是 onnx-community 的參考片段,由該轉換一併沿用。
  • 應用程式的文字清理功能(punc_norm)移植自 Resemble AI 的程式碼(MIT,© 2025 Resemble AI);其聲明位於應用程式的 THIRD_PARTY_NOTICES.md。

重新散布權重時必須標示來源:保留 MIT 聲明 "Copyright (c) 2025 Resemble AI" 與授權條文。你產生的語音不需要標示來源。

限制,明確如下:

  • 浮水印: Resemble AI 自家的 Python 套件會在每份輸出嵌入不可察覺的 Perth 浮水印。這些 ONNX 計算圖不含浮水印器,因此這裡產生的音訊不會加上浮水印。ONNX 轉換器的 README 要求任何部署它的人持續為產生的音訊加上浮水印(例如對輸出執行 Perth),並負責任地使用;Resemble 自己的模型卡只寫道「不要用這個模型做壞事」。
  • 克隆的同意: 只克隆你有權使用的聲音。MIT 授權本身並未對模型設下使用限制;在你所在地區,冒充他人仍可能違法。
  • 無地區限制,無營收上限。
  • 不再維護:Resemble AI 已於 2026 年 8 月將此模型退役。

所有檔案都從 Hugging Face 下載。AI Game Dev 並不代為託管。

版本

Chatterbox Multilingual V3 (語音模型) 的發布版本
版本發布日期需搭配應用程式
1.0.2最新0.32.0-beta.6 或更新版本
1.0.10.32.0-beta.6 或更新版本

安裝

在桌面應用程式中

開啟 套件 視窗(狀態列上的套件圖示),選擇 瀏覽,搜尋 aigd.tts-chatterbox-multilingual-v3,然後點選 加到專案。

還沒安裝應用程式?免費下載 AI Game Dev,支援 Windows、macOS 與 Linux。

從終端機

在你的專案資料夾中,使用 gamedev CLI:

gamedev pkg add aigd.tts-chatterbox-multilingual-v3

需求

  • AI Game Dev 0.32.0-beta.6 或更新版本

進一步瞭解套件

安裝
gamedev pkg add aigd.tts-chatterbox-multilingual-v3