Chatterbox Multilingual V3 (Sprachmodell)
gamedev pkg add aigd.tts-chatterbox-multilingual-v3Übersicht
Lokale Text-to-Speech in 20 Sprachen von Resemble AI: klont eine Stimme aus einem 3-60 s langen Clip ohne Transkript oder spricht mit der eingebauten Stimme, mit einer Exaggeration-Regelung für Emotion. Für lokalisierte Spieldialoge und Voice-overs. Läuft auf der CPU in der ONNX-Runtime der App, langsamer als Echtzeit. MIT. Resemble AI pflegt das Modell nicht mehr.
Chatterbox Multilingual V3 ist Resemble AIs Zero-Shot-Voice-Cloning-Text-to-Speech-Modell mit 0.5B Parametern, Version 3 (veröffentlicht am 2026-06-10), für 20 Sprachen. Gib ihm einen 3–60 s langen Referenzclip einer Stimme, und es spricht deinen Text in dieser Stimme; ohne Clip nutzt es seine eingebaute Stimme. In AI Game Dev läuft es auf der CPU in der mitgelieferten ONNX-Runtime der App (onnx-tts@1), ohne dass du sonst etwas installieren musst. Es passt zu Spielen, die dieselben Charakterstimmen in mehreren Sprachen brauchen und auf eine langsamere als Echtzeit-Generierung warten können.
Was du erstellen kannst
- Lokalisierte Dialoge und Voice-overs: eine geklonte Charakterstimme, die Arabisch, Deutsch, Spanisch, Französisch, Hindi, Koreanisch, Russisch, Türkisch und mehr spricht.
- Mehr oder weniger emotionale Darbietung derselben Zeile mit der Exaggeration-Regelung.
- Erzählertext und Ansagen mit der eingebauten Stimme, wenn du keinen Referenzclip hast.
Beispielanfragen
- "Klone die Stimme in
Audio/ref/hero.wavund sage ‚Wir brechen im Morgengrauen auf' auf Englisch, Deutsch und Spanisch." - "Lies diese koreanische Tutorial-Zeile mit der eingebauten Stimme vor."
- "Sprich die Zeile des wütenden Wächters auf Französisch mit Exaggeration 1,2."
Highlights
| Modell-ID | aigd.tts-chatterbox-multilingual-v3.q4 |
| Sprachen | ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr |
| Stimmen | eingebaute Stimme oder ein Klon eines 3–60 s langen Clips (kein Transkript nötig; die ersten 6 s werden verwendet) |
| Exaggeration | 0,25–2, Standard 0,5 |
| Ausgabe | 24 kHz, mono |
| Text pro Anfrage | bis zu 3.000 Zeichen |
| Läuft auf | der CPU (4-Bit-Sprachmodell), etwa 2,2 GB Spitzenspeicher in unserem Test |
| Download | etwa 1,55 GB |
| Lizenz | MIT, kommerzielle Nutzung erlaubt; die Ausgabe ist nicht mit einem Wasserzeichen versehen |
Multilingual V3 oder Turbo
- Chatterbox Multilingual V3 (dieses Paket): 20 Sprachen und Exaggeration, nur CPU, langsamer als Echtzeit. Wähle es für mehrsprachige Spiele.
- Chatterbox Turbo: nur Englisch, mit Sound-Tags wie
[laugh]und[cough], auf einer GPU oder der CPU über llama.cpp, auf einer CPU schneller als Echtzeit. Wähle es für englische Spiele.
So läuft es
Das Modell läuft in der mitgelieferten ONNX-Runtime der App (onnx-tts@1) auf der CPU mit einem 4-Bit-Sprachmodell, ohne dass du sonst etwas installieren musst. Ein Referenzclip von 3–60 s braucht kein Transkript; das Modell nutzt seine ersten 6 s. Exaggeration (0,25–2, Standard 0,5) legt fest, wie emotional es klingt; höhere Werte beschleunigen auch die Sprache.
Sprachen
ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr. V3 nennt außerdem Chinesisch, Japanisch und Hebräisch, bietet sie aber nicht an: diesem ONNX-Build fehlen die chinesischen (Cangjie) und japanischen (Kana) Text-Frontends, sodass ihr Text größtenteils aus unbekannten Tokens besteht, und Hebräisch (ohne Diakritika eingespeist, wie es das Upstream tut) kommt mit Greedy-Decoding größtenteils unverständlich heraus. Russisch funktioniert, aber ohne das Stressmarken-Frontend des Upstreams, sodass die Betonung bei manchen Wörtern falsch sein kann.
Geschwindigkeit und bekannte Grenzen
Gemessen auf einer 32-Kern-x86-64-CPU (DEV-167 Smoke): 4,0 s englische Sprache in 13,8 s, 2,7 s Deutsch in 11,8 s; Spitzenspeicher etwa 2,2 GB. Der Text wird Satz für Satz gesprochen (bis zu 200 Zeichen pro Stück) mit Greedy-Decoding, wie es die ONNX-Referenz macht; das Sampling und die Classifier-Free-Guidance des Upstreams sind nicht Teil des Exports. Ohne den Alignment-Analysator des Upstreams hört der Greedy-Decoder manchmal nicht nach dem Text auf (beobachtet bei Exaggeration 0,8), daher ist jedes Stück auf die Länge langsamer Sprache seines Textes plus 1,5 s begrenzt; ein nachklingendes Murmeln bis zu dieser Grenze ist möglich.
Wartung
Stand August 2026 hat Resemble AI Chatterbox als Forschungsprojekt eingestellt und pflegt es nicht mehr. Resemble veröffentlicht V3 nur als PyTorch-Gewichte; die ONNX-Graphen hier sind eine unabhängige Konvertierung (Masterx/chatterbox-multilingual-v3-ONNX), die nicht mit Resemble AI verbunden ist. Der Export von onnx-community (onnx-community/chatterbox-multilingual-ONNX) ist Version 2 (2025), nicht V3.
Lizenz
MIT. Kommerzielle Nutzung ist erlaubt.
- Chatterbox (T3-Sprachmodell
t3_mtl23ls_v3, S3Gen-Decoder, Voice-Encoder) © 2025 Resemble AI — MIT-Lizenz, Modellkarte (license: mit). - ONNX-Konvertierung und jede Datei in diesem Paket (
onnx/speech_encoder*,onnx/embed_tokens*,onnx/language_model_q4*,onnx/conditional_decoder*,tokenizer.json,default_voice.wav) vonMasterx/chatterbox-multilingual-v3-ONNXbei Revision19b94afe41de738624b2f3afc75b4cd56221fbeb— LICENSE (MIT, von Resemble AI) und NOTICE.md.default_voice.wavist der Referenzclip von onnx-community, der von dieser Konvertierung übernommen wurde. - Die Textbereinigung der App (
punc_norm) ist aus Resemble AIs Code portiert (MIT, © 2025 Resemble AI); der Hinweis dazu steht in derTHIRD_PARTY_NOTICES.mdder App.
Erforderliche Namensnennung, wenn du die Gewichte weiterverbreitest: Behalte den MIT-Hinweis "Copyright (c) 2025 Resemble AI" und den Lizenztext bei. Für die Sprache, die du erzeugst, ist keine Namensnennung erforderlich.
Einschränkungen, Klartext:
- Wasserzeichen: Resemble AIs eigenes Python-Paket bettet in jede Ausgabe ein unsichtbares Perth-Wasserzeichen ein. Diese ONNX-Graphen enthalten den Watermarker nicht, daher ist Audio von hier nicht mit einem Wasserzeichen versehen. Die README des ONNX-Konverters bittet alle, die es einsetzen, erzeugtes Audio weiterhin mit einem Wasserzeichen zu versehen (zum Beispiel indem sie Perth auf die Ausgabe anwenden) und es verantwortungsvoll zu nutzen; Resembles eigene Modellkarte sagt nur „Don't use this model to do bad things“.
- Einwilligung beim Klonen: Klone nur Stimmen, die du verwenden darfst. Die MIT-Lizenz selbst legt keine Nutzungsbeschränkung auf das Modell; die Nachahmung von Personen kann an deinem Ort dennoch rechtswidrig sein.
- Keine Gebietsbeschränkung, keine Umsatzobergrenze.
- Keine Wartung: Resemble AI hat das Modell im August 2026 eingestellt.
Alle Dateien werden von Hugging Face heruntergeladen. AI Game Dev hostet sie nicht.
Versionen
| Version | Veröffentlicht | Benötigt die App |
|---|---|---|
| 1.0.2Neueste | 0.32.0-beta.6 oder neuer | |
| 1.0.1 | 0.32.0-beta.6 oder neuer |
Installieren
In der Desktop-App
Öffne das Fenster Packages (das Paket-Symbol in der Statusleiste), wähle Browse, suche aigd.tts-chatterbox-multilingual-v3 und klicke auf Add to Project.
Noch keine App? Lade AI Game Dev kostenlos herunter für Windows, macOS oder Linux.
Im Terminal
Mit der gamedev CLI in deinem Projektordner:
gamedev pkg add aigd.tts-chatterbox-multilingual-v3Voraussetzungen
- AI Game Dev 0.32.0-beta.6 oder neuer
gamedev pkg add aigd.tts-chatterbox-multilingual-v3