Chatterbox Multilingual V3 (modelo de fala)
gamedev pkg add aigd.tts-chatterbox-multilingual-v3Visão geral
Conversão de texto em fala local em 20 idiomas da Resemble AI: clona uma voz a partir de um clipe de 3–60 s sem transcrição, ou fala com a voz embutida, com um controle de Exagero para emoção. Para diálogos e dublagens localizados de jogos. Roda na CPU no runtime ONNX do app, mais lento que o tempo real. MIT. A Resemble AI não o mantém mais.
O Chatterbox Multilingual V3 é o modelo de conversão de texto em fala com clonagem de voz zero-shot de 0.5B da Resemble AI, versão 3 (lançada em 2026-06-10), para 20 idiomas. Dê a ele um clipe de referência de 3–60 s de uma voz e ele fala seu texto naquela voz; sem um clipe, ele usa a voz embutida. No AI Game Dev ele roda na CPU no runtime ONNX incluído no app (onnx-tts@1), sem nada mais para instalar. Ele serve para jogos que precisam das mesmas vozes de personagem em vários idiomas e podem esperar por uma geração mais lenta que o tempo real.
O que você pode criar
- Diálogos e dublagens localizados: uma voz de personagem clonada falando árabe, alemão, espanhol, francês, hindi, coreano, russo, turco e mais.
- Uma entrega mais ou menos emotiva da mesma fala com o controle Exagero.
- Narração e anúncios na voz embutida quando você não tem um clipe de referência.
Exemplos de pedidos
- "Clone a voz em
Audio/ref/hero.wave diga 'Partimos ao amanhecer' em inglês, alemão e espanhol." - "Leia esta linha de tutorial em coreano com a voz embutida."
- "Duble a fala do guarda furioso em francês com Exagero 1.2."
Destaques
| Id do modelo | aigd.tts-chatterbox-multilingual-v3.q4 |
| Idiomas | ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr |
| Vozes | voz embutida, ou um clone de um clipe de 3–60 s (sem transcrição; são usados os primeiros 6 s) |
| Exagero | 0.25–2, padrão 0.5 |
| Saída | 24 kHz, mono |
| Texto por requisição | até 3,000 caracteres |
| Roda em | na CPU (modelo de linguagem 4-bit), cerca de 2.2 GB de memória de pico no nosso teste |
| Download | cerca de 1.55 GB |
| Licença | MIT, uso comercial permitido; a saída não tem marca d'água |
Multilingual V3 ou Turbo
- Chatterbox Multilingual V3 (este pacote): 20 idiomas e Exagero, somente CPU, mais lento que o tempo real. Escolha-o para jogos multilíngues.
- Chatterbox Turbo: somente inglês, com tags de som como
[laugh]e[cough], em uma GPU ou na CPU via llama.cpp, mais rápido que o tempo real em uma CPU. Escolha-o para jogos em inglês.
Como ele roda
O modelo roda no runtime ONNX incluído no App (onnx-tts@1) na CPU com um modelo de linguagem 4-bit, sem nada mais para instalar. Um clipe de referência de 3–60 s não precisa de transcrição; o modelo usa os primeiros 6 s. Exagero (0.25–2, padrão 0.5) define o quão emotivo ele soa; valores mais altos também aceleram a fala.
Idiomas
ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr. A V3 também cita chinês, japonês e hebraico, mas eles não são oferecidos: esta build ONNX não tem os front ends de texto de chinês (Cangjie) e de japonês (kana), então o texto deles vira em grande parte tokens desconhecidos, e o hebraico (alimentado sem diacríticos, como o upstream faz) sai em grande parte ininteligível com decodificação greedy. O russo funciona, mas sem o front end de marcas de tonicidade do upstream, então a tonicidade pode sair errada em algumas palavras.
Velocidade e limites conhecidos
Medido em uma CPU x86-64 de 32 núcleos (smoke test DEV-167): 4.0 s de fala em inglês em 13.8 s, 2.7 s de alemão em 11.8 s; memória de pico de cerca de 2.2 GB. O texto é falado frase por frase (até 200 caracteres por trecho) com decodificação greedy, como faz a referência ONNX; a amostragem e o classifier-free guidance do upstream não fazem parte da exportação. Sem o analisador de alinhamento do upstream, o decodificador greedy às vezes não para depois do texto (visto com Exagero 0.8), então cada trecho é limitado ao comprimento da fala lenta do seu texto mais 1.5 s; um murmúrio no final até esse limite é possível.
Manutenção
Desde agosto de 2026 a Resemble AI aposentou o Chatterbox como pesquisa e não o mantém mais. A Resemble publica a V3 apenas como pesos PyTorch; os grafos ONNX aqui são uma conversão independente (Masterx/chatterbox-multilingual-v3-ONNX), sem vínculo com a Resemble AI. A exportação da onnx-community (onnx-community/chatterbox-multilingual-ONNX) é a versão 2 (2025), não a V3.
Licença
MIT. O uso comercial é permitido.
- Chatterbox (modelo de linguagem T3
t3_mtl23ls_v3, decodificador S3Gen, codificador de voz) © 2025 Resemble AI — licença MIT, ficha do modelo (license: mit). - Conversão ONNX e todos os arquivos deste pacote (
onnx/speech_encoder*,onnx/embed_tokens*,onnx/language_model_q4*,onnx/conditional_decoder*,tokenizer.json,default_voice.wav) deMasterx/chatterbox-multilingual-v3-ONNXna revisão19b94afe41de738624b2f3afc75b4cd56221fbeb— LICENSE (MIT, da Resemble AI) e NOTICE.md.default_voice.wavé o clipe de referência da onnx-community, trazido por essa conversão. - A limpeza de texto do App (
punc_norm) foi portada do código da Resemble AI (MIT, © 2025 Resemble AI); o aviso dela está noTHIRD_PARTY_NOTICES.mddo App.
Atribuição obrigatória quando você redistribuir os pesos: mantenha o aviso MIT "Copyright (c) 2025 Resemble AI" e o texto da licença. Nenhuma atribuição é exigida para a fala que você gera.
Restrições, sem rodeios:
- Marca d'água: o próprio pacote Python da Resemble AI embute uma marca d'água Perth imperceptível em cada saída. Esses grafos ONNX não contêm o marcador de marca d'água, então o áudio feito aqui não tem marca d'água. O README do conversor ONNX pede que quem o implantar continue aplicando marca d'água ao áudio gerado (por exemplo, rodando o Perth na saída) e o use com responsabilidade; a ficha da própria Resemble diz apenas "Não use este modelo para fazer coisas ruins".
- Consentimento para clonagem: clone apenas vozes que você tem o direito de usar. A própria licença MIT não impõe restrição de uso ao modelo; impersonar pessoas ainda pode ser ilegal onde você está.
- Sem limite territorial, sem teto de receita.
- Sem manutenção: a Resemble AI aposentou o modelo em agosto de 2026.
Todos os arquivos são baixados do Hugging Face. O AI Game Dev não os hospeda.
Versões
| Versão | Lançamento | Requer o app |
|---|---|---|
| 1.0.2Mais recente | 0.32.0-beta.6 ou mais recente | |
| 1.0.1 | 0.32.0-beta.6 ou mais recente |
Instalar
No app para desktop
Abra a janela Pacotes (o ícone de pacote na barra de status), selecione Explorar, pesquise aigd.tts-chatterbox-multilingual-v3 e clique em Adicionar ao projeto.
Ainda sem o app? Baixe o AI Game Dev grátis para Windows, macOS ou Linux.
Pelo terminal
Com a CLI gamedev, na pasta do seu projeto:
gamedev pkg add aigd.tts-chatterbox-multilingual-v3Requisitos
- AI Game Dev 0.32.0-beta.6 ou mais recente
gamedev pkg add aigd.tts-chatterbox-multilingual-v3