Esta página foi traduzida automaticamente do inglês. Leia o original em inglês.

Chatterbox Multilingual V3 (modelo de fala)

OficialÁudiov1.0.2aigd.tts-chatterbox-multilingual-v3
Instalar Ainda sem o app? Baixe grátis
Ou pelo terminal
gamedev pkg add aigd.tts-chatterbox-multilingual-v3

Visão geral

Conversão de texto em fala local em 20 idiomas da Resemble AI: clona uma voz a partir de um clipe de 3–60 s sem transcrição, ou fala com a voz embutida, com um controle de Exagero para emoção. Para diálogos e dublagens localizados de jogos. Roda na CPU no runtime ONNX do app, mais lento que o tempo real. MIT. A Resemble AI não o mantém mais.

O Chatterbox Multilingual V3 é o modelo de conversão de texto em fala com clonagem de voz zero-shot de 0.5B da Resemble AI, versão 3 (lançada em 2026-06-10), para 20 idiomas. Dê a ele um clipe de referência de 3–60 s de uma voz e ele fala seu texto naquela voz; sem um clipe, ele usa a voz embutida. No AI Game Dev ele roda na CPU no runtime ONNX incluído no app (onnx-tts@1), sem nada mais para instalar. Ele serve para jogos que precisam das mesmas vozes de personagem em vários idiomas e podem esperar por uma geração mais lenta que o tempo real.

O que você pode criar

  • Diálogos e dublagens localizados: uma voz de personagem clonada falando árabe, alemão, espanhol, francês, hindi, coreano, russo, turco e mais.
  • Uma entrega mais ou menos emotiva da mesma fala com o controle Exagero.
  • Narração e anúncios na voz embutida quando você não tem um clipe de referência.

Exemplos de pedidos

  • "Clone a voz em Audio/ref/hero.wav e diga 'Partimos ao amanhecer' em inglês, alemão e espanhol."
  • "Leia esta linha de tutorial em coreano com a voz embutida."
  • "Duble a fala do guarda furioso em francês com Exagero 1.2."

Destaques

Id do modeloaigd.tts-chatterbox-multilingual-v3.q4
Idiomasar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr
Vozesvoz embutida, ou um clone de um clipe de 3–60 s (sem transcrição; são usados os primeiros 6 s)
Exagero0.25–2, padrão 0.5
Saída24 kHz, mono
Texto por requisiçãoaté 3,000 caracteres
Roda emna CPU (modelo de linguagem 4-bit), cerca de 2.2 GB de memória de pico no nosso teste
Downloadcerca de 1.55 GB
LicençaMIT, uso comercial permitido; a saída não tem marca d'água

Multilingual V3 ou Turbo

  • Chatterbox Multilingual V3 (este pacote): 20 idiomas e Exagero, somente CPU, mais lento que o tempo real. Escolha-o para jogos multilíngues.
  • Chatterbox Turbo: somente inglês, com tags de som como [laugh] e [cough], em uma GPU ou na CPU via llama.cpp, mais rápido que o tempo real em uma CPU. Escolha-o para jogos em inglês.

Como ele roda

O modelo roda no runtime ONNX incluído no App (onnx-tts@1) na CPU com um modelo de linguagem 4-bit, sem nada mais para instalar. Um clipe de referência de 3–60 s não precisa de transcrição; o modelo usa os primeiros 6 s. Exagero (0.25–2, padrão 0.5) define o quão emotivo ele soa; valores mais altos também aceleram a fala.

Idiomas

ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr. A V3 também cita chinês, japonês e hebraico, mas eles não são oferecidos: esta build ONNX não tem os front ends de texto de chinês (Cangjie) e de japonês (kana), então o texto deles vira em grande parte tokens desconhecidos, e o hebraico (alimentado sem diacríticos, como o upstream faz) sai em grande parte ininteligível com decodificação greedy. O russo funciona, mas sem o front end de marcas de tonicidade do upstream, então a tonicidade pode sair errada em algumas palavras.

Velocidade e limites conhecidos

Medido em uma CPU x86-64 de 32 núcleos (smoke test DEV-167): 4.0 s de fala em inglês em 13.8 s, 2.7 s de alemão em 11.8 s; memória de pico de cerca de 2.2 GB. O texto é falado frase por frase (até 200 caracteres por trecho) com decodificação greedy, como faz a referência ONNX; a amostragem e o classifier-free guidance do upstream não fazem parte da exportação. Sem o analisador de alinhamento do upstream, o decodificador greedy às vezes não para depois do texto (visto com Exagero 0.8), então cada trecho é limitado ao comprimento da fala lenta do seu texto mais 1.5 s; um murmúrio no final até esse limite é possível.

Manutenção

Desde agosto de 2026 a Resemble AI aposentou o Chatterbox como pesquisa e não o mantém mais. A Resemble publica a V3 apenas como pesos PyTorch; os grafos ONNX aqui são uma conversão independente (Masterx/chatterbox-multilingual-v3-ONNX), sem vínculo com a Resemble AI. A exportação da onnx-community (onnx-community/chatterbox-multilingual-ONNX) é a versão 2 (2025), não a V3.

Licença

MIT. O uso comercial é permitido.

  • Chatterbox (modelo de linguagem T3 t3_mtl23ls_v3, decodificador S3Gen, codificador de voz) © 2025 Resemble AI — licença MIT, ficha do modelo (license: mit).
  • Conversão ONNX e todos os arquivos deste pacote (onnx/speech_encoder*, onnx/embed_tokens*, onnx/language_model_q4*, onnx/conditional_decoder*, tokenizer.json, default_voice.wav) de Masterx/chatterbox-multilingual-v3-ONNX na revisão 19b94afe41de738624b2f3afc75b4cd56221fbeb — LICENSE (MIT, da Resemble AI) e NOTICE.md. default_voice.wav é o clipe de referência da onnx-community, trazido por essa conversão.
  • A limpeza de texto do App (punc_norm) foi portada do código da Resemble AI (MIT, © 2025 Resemble AI); o aviso dela está no THIRD_PARTY_NOTICES.md do App.

Atribuição obrigatória quando você redistribuir os pesos: mantenha o aviso MIT "Copyright (c) 2025 Resemble AI" e o texto da licença. Nenhuma atribuição é exigida para a fala que você gera.

Restrições, sem rodeios:

  • Marca d'água: o próprio pacote Python da Resemble AI embute uma marca d'água Perth imperceptível em cada saída. Esses grafos ONNX não contêm o marcador de marca d'água, então o áudio feito aqui não tem marca d'água. O README do conversor ONNX pede que quem o implantar continue aplicando marca d'água ao áudio gerado (por exemplo, rodando o Perth na saída) e o use com responsabilidade; a ficha da própria Resemble diz apenas "Não use este modelo para fazer coisas ruins".
  • Consentimento para clonagem: clone apenas vozes que você tem o direito de usar. A própria licença MIT não impõe restrição de uso ao modelo; impersonar pessoas ainda pode ser ilegal onde você está.
  • Sem limite territorial, sem teto de receita.
  • Sem manutenção: a Resemble AI aposentou o modelo em agosto de 2026.

Todos os arquivos são baixados do Hugging Face. O AI Game Dev não os hospeda.

Versões

Versões de Chatterbox Multilingual V3 (modelo de fala)
VersãoLançamentoRequer o app
1.0.2Mais recente0.32.0-beta.6 ou mais recente
1.0.10.32.0-beta.6 ou mais recente

Instalar

No app para desktop

Abra a janela Pacotes (o ícone de pacote na barra de status), selecione Explorar, pesquise aigd.tts-chatterbox-multilingual-v3 e clique em Adicionar ao projeto.

Ainda sem o app? Baixe o AI Game Dev grátis para Windows, macOS ou Linux.

Pelo terminal

Com a CLI gamedev, na pasta do seu projeto:

gamedev pkg add aigd.tts-chatterbox-multilingual-v3

Requisitos

  • AI Game Dev 0.32.0-beta.6 ou mais recente

Mais sobre pacotes

Instalar
gamedev pkg add aigd.tts-chatterbox-multilingual-v3