Esta página foi traduzida automaticamente do inglês. Leia o original em inglês.

Fun-CosyVoice3 (modelo de fala)

OficialÁudioGPUv1.0.2aigd.tts-cosyvoice3
Instalar Ainda sem o app? Baixe grátis
Ou pelo terminal
gamedev pkg add aigd.tts-cosyvoice3
Roda no seu computador. Baixa o modelo uma vez e gera na GPU deste computador.

Visão geral

Text-to-speech local com clonagem de voz do Tongyi Lab, da Alibaba: o Fun-CosyVoice3 0.5B fala na voz de um clipe de 3 a 30 s em chinês, inglês, japonês, coreano, alemão, espanhol, francês, italiano, russo e cantonês, e segue instruções de estilo (emoção, velocidade, dialeto). Roda na sua GPU com audio.cpp. Apache-2.0.

O Fun-CosyVoice3 0.5B (Tongyi Lab, Alibaba) é um modelo de text-to-speech com clonagem de voz: ele fala seu texto na voz de um clipe de referência curto, em nove idiomas além do cantonês, e segue instruções de estilo como emoção, velocidade ou dialeto. No AI Game Dev ele roda na sua GPU por meio da Geração de áudio local (aigd.audiocpp, o runtime audio.cpp). Ele atende jogos que precisam de uma mesma voz de personagem em idiomas asiáticos e europeus.

O que você pode criar

  • Diálogos de personagem com uma voz clonada de um clipe de 3 a 30 s, em chinês, inglês, japonês, coreano, alemão, espanhol, francês, italiano, russo ou cantonês.
  • Dublagens entre idiomas: a mesma voz falando um idioma diferente do que está no clipe.
  • Variações de uma fala por instrução: mais acolhedora, mais rápida, mais triste ou em um dialeto.

Exemplos de pedidos

  • "Clone Audio/ref/merchant.wav e diga a saudação do mercador em japonês e coreano."
  • "Leia esta fala com a mesma voz, mas fale de forma acolhedora e um pouco mais devagar."
  • "Duble a versão em cantonês do diálogo da loja com o clipe de referência que eu adicionei."

Destaques

ID do modeloaigd.tts-cosyvoice3.q8-0
Idiomaszh, en, ja, ko, de, es, fr, it, ru, yue (cantonês)
Vozessempre um clone de um clipe de referência de 3 a 30 s (transcrição opcional)
Instruções de estilosim (emoção, velocidade, dialeto)
Saída24 kHz, mono WAV
Texto por pedidoaté 2.000 caracteres
Roda emGPUs NVIDIA (CUDA), Vulkan ou Mac (Metal)
Download2,26 GB, 1 arquivo
LicençaApache-2.0, uso comercial permitido

Como funciona

Cada pedido precisa de um clipe de referência de 3 a 30 s (um WAV no seu projeto). Com a transcrição dele, o modelo clona a voz com fidelidade; sem ela, ele clona entre idiomas. Uma instrução de estilo ("fale de forma acolhedora", "mais rápido", um dialeto) muda a entrega.

Este pacote é só de dados. Ele indica um arquivo; o app baixa esse arquivo depois que você confirma, verifica por sha256 e o executa com audio.cpp no seu computador.

Download

2,26 GB, um arquivo, fixado no commit b7b9aa1f do Hugging Face:

ArquivoOrigemTamanho
cosyvoice3-q8_0.ggufaudio-cpp/audio.cpp-gguf2.26 GB

Convertido de FunAudioLLM/Fun-CosyVoice3-0.5B-2512.

Em quais computadores

ComputadorRequisitosVelocidade
GPU NVIDIA (CUDA) ou outra GPU (Vulkan)cerca de 4 GB de memória de GPU (estimativa)ainda não medido
Mac com Apple silicon (Metal)cerca de 8 GB de memória (estimativa)ainda não medido

Licença

Apache-2.0. O uso comercial é permitido.

Atribuição obrigatória ao redistribuir os pesos: o texto da licença Apache-2.0 e os avisos. Não é exigida atribuição pela fala que você gera.

Restrições, sem rodeios: nenhuma na licença além dos seus avisos. Clone apenas vozes que você tem o direito de usar; você é responsável pelo que gerar.

Conforme declarado no pacote (license):

  • Licença: Apache-2.0 — https://github.com/FunAudioLLM/CosyVoice/blob/main/LICENSE
  • Atribuição: Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba (FunAudioLLM), Apache-2.0; conversão GGUF por audio.cpp
  • Restrição (atribuição): redistribuir os pesos exige o texto da licença Apache-2.0 e os avisos.
  • Restrição (outra): o repositório do modelo no Hugging Face declara Apache-2.0 no card, mas não traz nenhum arquivo LICENSE; o texto da licença está no repositório de código FunAudioLLM/CosyVoice.
  • Restrição (outra): clonagem de voz: use apenas vozes que você tem permissão para reproduzir; você é responsável pelo que gerar.

Todos os arquivos são baixados do Hugging Face. O AI Game Dev não os hospeda.

Versões

Versões de Fun-CosyVoice3 (modelo de fala)
VersãoLançamentoRequer o app
1.0.2Mais recente0.32.0-beta.6 ou mais recente
1.0.10.32.0-beta.6 ou mais recente

Instalar

No app para desktop

Abra a janela Pacotes (o ícone de pacote na barra de status), selecione Explorar, pesquise aigd.tts-cosyvoice3 e clique em Adicionar ao projeto.

Ainda sem o app? Baixe o AI Game Dev grátis para Windows, macOS ou Linux.

Pelo terminal

Com a CLI gamedev, na pasta do seu projeto:

gamedev pkg add aigd.tts-cosyvoice3

Requisitos

  • AI Game Dev 0.32.0-beta.6 ou mais recente

Mais sobre pacotes

Instalar
gamedev pkg add aigd.tts-cosyvoice3