Chatterbox Multilingual V3(音声モデル)
gamedev pkg add aigd.tts-chatterbox-multilingual-v3概要
Resemble AIによる20言語のローカルテキスト読み上げです。3~60秒のクリップからトランスクリプトなしで音声をクローンするか、組み込み音声で話せます。感情調整用のExaggerationコントロール付きです。ローカライズしたゲームの会話やボイスオーバー向けです。アプリのONNXランタイムでCPU上で動作し、リアルタイムより遅くなります。MIT。Resemble AIはメンテナンスを終了しています。
Chatterbox Multilingual V3は、Resemble AIによる0.5Bのゼロショット音声クローニング対応テキスト読み上げモデル、バージョン3(2026-06-10リリース)で、20言語に対応します。3~60秒の参照クリップを渡すと、その声でテキストを読み上げます。クリップがない場合は組み込み音声を使用します。AI Game Devでは、アプリに同梱されたONNXランタイム(onnx-tts@1)でCPU上で動作し、ほかにインストールするものはありません。複数言語で同じキャラクター音声が必要で、リアルタイムより遅い生成を許容できるゲームに向いています。
作成できるもの
- ローカライズした会話とボイスオーバー:クローンした1つのキャラクター音声で、アラビア語、ドイツ語、スペイン語、フランス語、ヒンディー語、韓国語、ロシア語、トルコ語などを話せます。
- 同じセリフの感情の強さをExaggerationコントロールで強めたり弱めたりできます。
- 参照クリップがない場合は、組み込み音声でナレーションやアナウンスを作成できます。
リクエスト例
- 「
Audio/ref/hero.wavの音声をクローンし、『夜明けに出発します』を英語、ドイツ語、スペイン語で話させてください。」 - 「この韓国語のチュートリアル行を組み込み音声で読み上げてください。」
- 「怒った警備兵のセリフを、Exaggeration 1.2でフランス語で声にしてください。」
ハイライト
| モデルID | aigd.tts-chatterbox-multilingual-v3.q4 |
| 言語 | ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr |
| 音声 | 組み込み音声、または3~60秒のクリップのクローン(トランスクリプト不要。クリップの最初の6秒を使用) |
| Exaggeration | 0.25~2、デフォルト0.5 |
| 出力 | 24 kHz、モノラル |
| 1リクエストあたりのテキスト | 最大3,000文字 |
| 実行環境 | CPU(4-bit言語モデル)、今回のテストではピークメモリ約2.2 GB |
| ダウンロード | 約1.55 GB |
| ライセンス | MIT、商用利用可。出力にはウォーターマークが入りません |
Multilingual V3かTurboか
- Chatterbox Multilingual V3(本パッケージ):20言語とExaggerationに対応し、CPU専用で、リアルタイムより遅くなります。多言語ゲームにはこれを選んでください。
- Chatterbox Turbo:英語のみで、
[laugh]や[cough]などのサウンドタグに対応し、GPUまたはllama.cpp経由のCPUで動作し、CPUではリアルタイムより高速です。英語ゲームにはこれを選んでください。
動作の仕組み
モデルはアプリに同梱されたONNXランタイム(onnx-tts@1)で、4-bit言語モデルを使ってCPU上で動作し、ほかにインストールするものはありません。3~60秒の参照クリップにはトランスクリプトが不要で、モデルはその最初の6秒を使用します。Exaggeration(0.25~2、デフォルト0.5)は音声の感情の強さを設定します。値を大きくすると話速も上がります。
言語
ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr。V3は中国語、日本語、ヘブライ語も挙げていますが、提供されていません。このONNXビルドには中国語(Cangjie)と日本語(かな)のテキストフロントエンドがないため、これらのテキストは大半が未知のトークンになります。またヘブライ語は(アップストリームと同様にダイアクリティカルマークなしで入力されるため)、貪欲法デコードでは大半が聞き取れない出力になります。ロシア語は動作しますが、アップストリームのアクセント記号フロントエンドがないため、一部の単語でアクセントが誤ることがあります。
速度と既知の制限
32コアのx86-64 CPU(DEV-167スモークテスト)で測定:英語音声4.0秒を13.8秒で、ドイツ語2.7秒を11.8秒で生成しました。ピークメモリは約2.2 GBです。テキストはONNXリファレンスと同様に、文単位(1ピース最大200文字)で貪欲法デコードによって読み上げられます。アップストリームのサンプリングとclassifier-free guidanceはエクスポートに含まれていません。アップストリームのアラインメントアナライザーがないため、貪欲法デコーダーがテキストの後で停止しないことがあります(Exaggeration 0.8で確認)。そのため各ピースは、そのテキストを低速で読み上げた長さに1.5秒を加えた長さを上限とします。その上限まで末尾に小声が続く可能性があります。
メンテナンス
2026年8月時点で、Resemble AIはChatterboxを研究用として終了し、メンテナンスを行っていません。ResembleはV3をPyTorchの重みとしてのみ公開しています。ここで使用しているONNXグラフは独立した変換(Masterx/chatterbox-multilingual-v3-ONNX)であり、Resemble AIとは提携していません。onnx-communityのエクスポート(onnx-community/chatterbox-multilingual-ONNX)はバージョン2(2025)であり、V3ではありません。
ライセンス
MIT。商用利用が可能です。
- Chatterbox(T3言語モデル
t3_mtl23ls_v3、S3Genデコーダー、音声エンコーダー)© 2025 Resemble AI — MITライセンス、モデルカード(license: mit)。 - ONNX変換と本パッケージ内のすべてのファイル(
onnx/speech_encoder*、onnx/embed_tokens*、onnx/language_model_q4*、onnx/conditional_decoder*、tokenizer.json、default_voice.wav)は、Masterx/chatterbox-multilingual-v3-ONNXのリビジョン19b94afe41de738624b2f3afc75b4cd56221fbebに由来します — LICENSE(MIT、Resemble AIのもの)およびNOTICE.md。default_voice.wavはonnx-communityの参照クリップで、その変換によって引き継がれています。 - アプリのテキストクリーンアップ(
punc_norm)はResemble AIのコード(MIT、© 2025 Resemble AI)から移植されたものです。その通知はアプリのTHIRD_PARTY_NOTICES.mdに含まれています。
重みを再配布する際に必要な帰属表示:MITの通知"Copyright (c) 2025 Resemble AI"とライセンス本文を保持してください。生成した音声には帰属表示は不要です。
制限事項は次のとおりです:
- ウォーターマーク: Resemble AIの独自Pythonパッケージは、すべての出力に知覚できないPerthウォーターマークを埋め込みます。これらのONNXグラフにはウォーターマーカーが含まれていないため、ここで作成した音声にはウォーターマークが入りません。ONNXコンバーターのREADMEは、導入するすべての人に対して、生成音声へのウォーターマーク付与を続けること(たとえば出力にPerthを実行する)と、責任ある方法で使用することを求めています。Resemble自身のカードには「このモデルを悪いことに使わないでください」とだけ書かれています。
- クローンに関する同意: 使用する権利がある音声のみをクローンしてください。MITライセンス自体はモデルに利用制限を課していませんが、人をなりすます行為は、あなたのいる地域で依然として違法となる場合があります。
- 地域制限はありません。収益上限もありません。
- メンテナンスはありません:Resemble AIは2026年8月にこのモデルを終了しました。
すべてのファイルはHugging Faceからダウンロードされます。AI Game Devはそれらをホストしていません。
バージョン
| バージョン | リリース日 | アプリが必要 |
|---|---|---|
| 1.0.2最新 | 0.32.0-beta.6 以降 | |
| 1.0.1 | 0.32.0-beta.6 以降 |
インストール
デスクトップアプリで
Packages ウィンドウを開き(ステータスバーのパッケージアイコン)、Browse を選んで aigd.tts-chatterbox-multilingual-v3 を検索し、Add to Project をクリックします。
アプリがまだない方は、Windows、macOS、Linux 用の AI Game Dev を無料でダウンロードしてください。
ターミナルから
gamedev CLI を使い、プロジェクトフォルダーで実行します。
gamedev pkg add aigd.tts-chatterbox-multilingual-v3必要条件
- AI Game Dev 0.32.0-beta.6 以降
gamedev pkg add aigd.tts-chatterbox-multilingual-v3