Esta página foi traduzida automaticamente do inglês. Leia o original em inglês.

Kokoro 82M (modelo de fala)

OficialÁudiov1.0.3aigd.tts-kokoro
Instalar Ainda sem o app? Baixe grátis
Ou pelo terminal
gamedev pkg add aigd.tts-kokoro

Visão geral

O Kokoro 82M da hexgrad, um modelo pequeno e muito bem avaliado de conversão de texto em fala em inglês, executado localmente: 28 vozes predefinidas americanas e britânicas para diálogos de NPC, narração e falas de UI. Rápido até em CPU (llama.cpp); sem clonagem de voz. Apache-2.0, uso comercial permitido.

Kokoro 82M é o Kokoro-82M v1.0 da hexgrad, um pequeno modelo de texto para fala em inglês que está entre os melhores modelos abertos do TTS Arena. Ele fala com 28 vozes predefinidas, 20 americanas e 8 britânicas, e não clona vozes. No AI Game Dev ele roda no seu próprio computador por meio de Local speech (aigd.llamacpp, llama.cpp) e é rápido até em CPU, então serve para desenvolvedores que precisam de muitas falas em inglês sem uma GPU potente.

O que você pode criar

  • Diálogos de NPC, barks e reações curtas em inglês para muitos personagens, diferenciados pela voz e pelo sotaque americano ou britânico.
  • Narração, voice-overs de tutorial e avisos de menu e de interface.
  • Falas temporárias para acertar o timing de cutscenes e testar árvores de diálogo antes de os atores gravarem.

Exemplos de pedidos

  • "Grave estas cinco falas do comerciante com uma voz masculina britânica e salve no projeto."
  • "Leia o texto do tutorial da fase 1 com a voz padrão."
  • "Faça uma versão de cada fala do NPC de missões com am_michael e outra com bf_emma para eu comparar."
  • "Gere a introdução do narrador: 'O reino caiu em uma única noite…'"

Destaques

ID do modeloaigd.tts-kokoro.en-f32
IdiomaSomente inglês (a voz define o sotaque americano ou britânico)
Vozes28 predefinições; padrão af_heart
Clonagem de vozNão
Saída24 kHz, mono
Texto por pedidoaté 2.000 caracteres
Roda emGPUs NVIDIA (CUDA), Vulkan e Mac (Metal), ou na CPU
Download270 MB, 2 arquivos
LicençaApache-2.0, uso comercial permitido

Como funciona

Este pacote é só de dados: ele indica os arquivos do modelo. Depois que você aceita a licença, o app baixa os arquivos do Hugging Face, verifica cada um por sha256 e os executa com Local speech (aigd.llamacpp, llama.cpp) no seu computador.

Download

  • Kokoro 82M (inglês) (aigd.tts-kokoro.en-f32): 270 MB, 2 arquivos de ggml-org/Kokoro-82M-GGUF, fixados nesse commit: o modelo (Kokoro-82M-F32.gguf) e seu projetor de áudio com as vozes (mmproj-Kokoro-82M-F16.gguf).

Em quais computadores

Em uma CPU x86 de 16 threads, ele fala cerca de 4× mais rápido que o tempo real com 0.6 GB de memória. Em uma RTX 4090 no Windows, uma fala curta ficou abaixo de 0.8 GiB de VRAM acima da linha de base em CUDA e abaixo de 0.5 GiB em Vulkan.

Vozes, idiomas e pronúncia

  • Vozes: af_heart (padrão), af_alloy, af_aoede, af_bella, af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky, am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa (americanas); bf_alice, bf_emma, bf_isabella, bf_lily, bm_daniel, bm_fable, bm_george, bm_lewis (britânicas).
  • Idioma: somente inglês. A voz define o sotaque: as vozes a* falam inglês americano e as vozes b*, inglês britânico.
  • Sem eSpeak: o texto em inglês vira fonemas com o dicionário de pronúncia do misaki e um etiquetador morfológico (part-of-speech) guardado no arquivo do modelo. Uma palavra que falta no dicionário (em geral um nome raro) é deduzida pela grafia, então pode soar um pouco diferente da configuração de referência do Kokoro, que recorre ao eSpeak para essas palavras. Os outros idiomas do modelo (espanhol, francês, hindi, italiano, português, japonês, chinês) precisam do eSpeak para os fonemas e não são oferecidos.

Licença

Apache-2.0. O uso comercial é permitido. Mantenha a licença Apache-2.0 e os avisos quando você compartilhar os arquivos do modelo.

  • Kokoro-82M da hexgrad: card do modelo, Apache-2.0. O card lista o áudio CC BY usado no treinamento; os pesos são Apache-2.0.
  • Os dois arquivos vêm de ggml-org/Kokoro-82M-GGUF (Apache-2.0): a conversão automática do llama.cpp de hexgrad/Kokoro-82M no commit f3ff3571791e39611d31c381e3a41a3af07b4987, com todas as 54 vozes no arquivo do projetor (o app oferece as 28 em inglês).
  • Incorporado ao arquivo do modelo pelo conversor:
    • dicionário de pronúncia de inglês do misaki — Apache-2.0 (licença);
    • o etiquetador perceptron médio do NLTK para inglês — MIT (fonte).

Atribuição obrigatória: "Kokoro-82M by hexgrad, Apache-2.0. Pronunciation data from misaki (hexgrad, Apache-2.0) and the NLTK averaged perceptron tagger (MIT)."

Restrições:

  • Se você compartilhar os arquivos do modelo, inclua a licença Apache-2.0 e mantenha os avisos da hexgrad (e o aviso MIT do etiquetador do NLTK armazenado neles).

Você é responsável por seguir a licença do modelo que baixar. Todos os arquivos são baixados do Hugging Face. O AI Game Dev não os hospeda.

Versões

Versões de Kokoro 82M (modelo de fala)
VersãoLançamentoRequer o app
1.0.3Mais recente0.32.0-beta.6 ou mais recente
1.0.20.32.0-beta.6 ou mais recente

Instalar

No app para desktop

Abra a janela Pacotes (o ícone de pacote na barra de status), selecione Explorar, pesquise aigd.tts-kokoro e clique em Adicionar ao projeto.

Ainda sem o app? Baixe o AI Game Dev grátis para Windows, macOS ou Linux.

Pelo terminal

Com a CLI gamedev, na pasta do seu projeto:

gamedev pkg add aigd.tts-kokoro

Requisitos

  • AI Game Dev 0.32.0-beta.6 ou mais recente

Mais sobre pacotes

Instalar
gamedev pkg add aigd.tts-kokoro