Fun-CosyVoice3 (modelo de fala)
gamedev pkg add aigd.tts-cosyvoice3Visão geral
Text-to-speech local com clonagem de voz do Tongyi Lab, da Alibaba: o Fun-CosyVoice3 0.5B fala na voz de um clipe de 3 a 30 s em chinês, inglês, japonês, coreano, alemão, espanhol, francês, italiano, russo e cantonês, e segue instruções de estilo (emoção, velocidade, dialeto). Roda na sua GPU com audio.cpp. Apache-2.0.
O Fun-CosyVoice3 0.5B (Tongyi Lab, Alibaba) é um modelo de text-to-speech com clonagem de voz: ele fala seu texto na voz de um clipe de referência curto, em nove idiomas além do cantonês, e segue instruções de estilo como emoção, velocidade ou dialeto. No AI Game Dev ele roda na sua GPU por meio da Geração de áudio local (aigd.audiocpp, o runtime audio.cpp). Ele atende jogos que precisam de uma mesma voz de personagem em idiomas asiáticos e europeus.
O que você pode criar
- Diálogos de personagem com uma voz clonada de um clipe de 3 a 30 s, em chinês, inglês, japonês, coreano, alemão, espanhol, francês, italiano, russo ou cantonês.
- Dublagens entre idiomas: a mesma voz falando um idioma diferente do que está no clipe.
- Variações de uma fala por instrução: mais acolhedora, mais rápida, mais triste ou em um dialeto.
Exemplos de pedidos
- "Clone
Audio/ref/merchant.wave diga a saudação do mercador em japonês e coreano." - "Leia esta fala com a mesma voz, mas fale de forma acolhedora e um pouco mais devagar."
- "Duble a versão em cantonês do diálogo da loja com o clipe de referência que eu adicionei."
Destaques
| ID do modelo | aigd.tts-cosyvoice3.q8-0 |
| Idiomas | zh, en, ja, ko, de, es, fr, it, ru, yue (cantonês) |
| Vozes | sempre um clone de um clipe de referência de 3 a 30 s (transcrição opcional) |
| Instruções de estilo | sim (emoção, velocidade, dialeto) |
| Saída | 24 kHz, mono WAV |
| Texto por pedido | até 2.000 caracteres |
| Roda em | GPUs NVIDIA (CUDA), Vulkan ou Mac (Metal) |
| Download | 2,26 GB, 1 arquivo |
| Licença | Apache-2.0, uso comercial permitido |
Como funciona
Cada pedido precisa de um clipe de referência de 3 a 30 s (um WAV no seu projeto). Com a transcrição dele, o modelo clona a voz com fidelidade; sem ela, ele clona entre idiomas. Uma instrução de estilo ("fale de forma acolhedora", "mais rápido", um dialeto) muda a entrega.
Este pacote é só de dados. Ele indica um arquivo; o app baixa esse arquivo depois que você confirma, verifica por sha256 e o executa com audio.cpp no seu computador.
Download
2,26 GB, um arquivo, fixado no commit b7b9aa1f do Hugging Face:
| Arquivo | Origem | Tamanho |
|---|---|---|
cosyvoice3-q8_0.gguf | audio-cpp/audio.cpp-gguf | 2.26 GB |
Convertido de FunAudioLLM/Fun-CosyVoice3-0.5B-2512.
Em quais computadores
| Computador | Requisitos | Velocidade |
|---|---|---|
| GPU NVIDIA (CUDA) ou outra GPU (Vulkan) | cerca de 4 GB de memória de GPU (estimativa) | ainda não medido |
| Mac com Apple silicon (Metal) | cerca de 8 GB de memória (estimativa) | ainda não medido |
Licença
Apache-2.0. O uso comercial é permitido.
- Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba (FunAudioLLM) — card do modelo (
license: apache-2.0). O repositório do modelo não traz nenhum arquivo LICENSE; o texto da Apache-2.0 está no repositório de código do CosyVoice. - Conversão GGUF por audio.cpp —
audio-cpp/audio.cpp-gguf; a tabela de licenças de modelos do audio.cpp o lista como Apache-2.0, uso comercial sim.
Atribuição obrigatória ao redistribuir os pesos: o texto da licença Apache-2.0 e os avisos. Não é exigida atribuição pela fala que você gera.
Restrições, sem rodeios: nenhuma na licença além dos seus avisos. Clone apenas vozes que você tem o direito de usar; você é responsável pelo que gerar.
Conforme declarado no pacote (license):
- Licença: Apache-2.0 — https://github.com/FunAudioLLM/CosyVoice/blob/main/LICENSE
- Atribuição: Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba (FunAudioLLM), Apache-2.0; conversão GGUF por audio.cpp
- Restrição (atribuição): redistribuir os pesos exige o texto da licença Apache-2.0 e os avisos.
- Restrição (outra): o repositório do modelo no Hugging Face declara Apache-2.0 no card, mas não traz nenhum arquivo LICENSE; o texto da licença está no repositório de código FunAudioLLM/CosyVoice.
- Restrição (outra): clonagem de voz: use apenas vozes que você tem permissão para reproduzir; você é responsável pelo que gerar.
Todos os arquivos são baixados do Hugging Face. O AI Game Dev não os hospeda.
Versões
| Versão | Lançamento | Requer o app |
|---|---|---|
| 1.0.2Mais recente | 0.32.0-beta.6 ou mais recente | |
| 1.0.1 | 0.32.0-beta.6 ou mais recente |
Instalar
No app para desktop
Abra a janela Pacotes (o ícone de pacote na barra de status), selecione Explorar, pesquise aigd.tts-cosyvoice3 e clique em Adicionar ao projeto.
Ainda sem o app? Baixe o AI Game Dev grátis para Windows, macOS ou Linux.
Pelo terminal
Com a CLI gamedev, na pasta do seu projeto:
gamedev pkg add aigd.tts-cosyvoice3Requisitos
- AI Game Dev 0.32.0-beta.6 ou mais recente
gamedev pkg add aigd.tts-cosyvoice3