Diese Seite wurde maschinell aus dem Englischen übersetzt. Englisches Original lesen.

Fun-CosyVoice3 (Sprachmodell)

OffiziellAudioGPUv1.0.2aigd.tts-cosyvoice3
Oder im Terminal
gamedev pkg add aigd.tts-cosyvoice3
Läuft auf deinem Computer. Lädt ein Modell einmal herunter und generiert auf der GPU dieses Computers.

Übersicht

Lokale Text-zu-Sprache mit Stimmklonen von Alibabas Tongyi Lab: Fun-CosyVoice3 0.5B spricht mit der Stimme eines 3-30 s langen Clips auf Chinesisch, Englisch, Japanisch, Koreanisch, Deutsch, Spanisch, Französisch, Italienisch, Russisch und Kantonesisch und folgt Stil-Anweisungen (Emotion, Tempo, Dialekt). Läuft auf deiner GPU mit audio.cpp. Apache-2.0.

Fun-CosyVoice3 0.5B (Tongyi Lab, Alibaba) ist ein Text-zu-Sprache-Modell mit Stimmklonen: Es spricht deinen Text mit der Stimme eines kurzen Referenzclips, in neun Sprachen plus Kantonesisch, und folgt Stil-Anweisungen wie Emotion, Tempo oder Dialekt. In AI Game Dev läuft es über Local audio generation (aigd.audiocpp, die audio.cpp-Laufzeit) auf deiner GPU. Es passt zu Spielen, die eine Charakterstimme über asiatische und europäische Sprachen hinweg brauchen.

Was du erstellen kannst

  • Charakterdialog in einer aus einem 3–30 s langen Clip geklonten Stimme – auf Chinesisch, Englisch, Japanisch, Koreanisch, Deutsch, Spanisch, Französisch, Italienisch, Russisch oder Kantonesisch.
  • Sprachübergreifende Voice-overs: dieselbe Stimme spricht eine andere Sprache als die im Clip.
  • Variationen einer Zeile per Anweisung: wärmer, schneller, trauriger oder in einem Dialekt.

Beispielanfragen

  • "Klone Audio/ref/merchant.wav und sag die Begrüßung des Händlers auf Japanisch und Koreanisch."
  • "Lies diese Zeile mit derselben Stimme, aber sprich warm und etwas langsamer."
  • "Sprich die kantonesische Version des Ladendialogs mit dem Referenzclip, den ich hinzugefügt habe."

Highlights

Modell-IDaigd.tts-cosyvoice3.q8-0
Sprachenzh, en, ja, ko, de, es, fr, it, ru, yue (Kantonesisch)
Stimmenimmer ein Klon eines 3–30 s langen Referenzclips (Transkript optional)
Stil-Anweisungenja (Emotion, Tempo, Dialekt)
Ausgabe24 kHz, Mono-WAV
Text pro Anfragebis zu 2.000 Zeichen
Läuft aufNVIDIA (CUDA), Vulkan oder Mac (Metal) GPUs
Download2.26 GB, 1 Datei
LizenzApache-2.0, kommerzielle Nutzung erlaubt

So läuft es

Jede Anfrage braucht einen 3–30 s langen Referenzclip (eine WAV-Datei in deinem Projekt). Mit seinem Transkript klont das Modell die Stimme eng; ohne eines klont es sprachübergreifend. Eine Stil-Anweisung ("sprich warm", "schneller", ein Dialekt) verändert die Vortragsweise.

Dieses Paket enthält nur Daten. Es benennt eine Datei; die App lädt sie nach deiner Bestätigung herunter, prüft sie per sha256 und führt sie mit audio.cpp auf deinem Computer aus.

Download

2.26 GB, eine Datei, festgelegt auf den Hugging Face Commit b7b9aa1f:

DateiVonGröße
cosyvoice3-q8_0.ggufaudio-cpp/audio.cpp-gguf2.26 GB

Konvertiert aus FunAudioLLM/Fun-CosyVoice3-0.5B-2512.

Welche Computer

ComputerBenötigtGeschwindigkeit
NVIDIA GPU (CUDA) oder eine andere GPU (Vulkan)etwa 4 GB GPU-Speicher (Schätzung)noch nicht gemessen
Mac mit Apple silicon (Metal)etwa 8 GB Arbeitsspeicher (Schätzung)noch nicht gemessen

Lizenz

Apache-2.0. Kommerzielle Nutzung ist erlaubt.

Erforderliche Namensnennung, wenn du die Gewichte weiterverbreitest: der Apache-2.0-Lizenztext und die Hinweise. Für die von dir erzeugte Sprache ist keine Namensnennung erforderlich.

Einschränkungen, klar gesagt: keine in der Lizenz über ihre Hinweise hinaus. Klone nur Stimmen, für die du die Rechte hast; du bist verantwortlich für das, was du erzeugst.

Wie im Paket angegeben (license):

  • Lizenz: Apache-2.0 — https://github.com/FunAudioLLM/CosyVoice/blob/main/LICENSE
  • Namensnennung: Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba (FunAudioLLM), Apache-2.0; GGUF-Konvertierung von audio.cpp
  • Einschränkung (Namensnennung): Die Weitergabe der Gewichte erfordert den Apache-2.0-Lizenztext und die Hinweise.
  • Einschränkung (sonstige): Das Hugging Face Modell-Repository deklariert Apache-2.0 in seiner Karte, liefert aber keine LICENSE-Datei; der Lizenztext steht im Code-Repository FunAudioLLM/CosyVoice.
  • Einschränkung (sonstige): Stimmklonen: Verwende nur Stimmen, deren Wiedergabe dir erlaubt ist; du bist verantwortlich für das, was du erzeugst.

Alle Dateien werden von Hugging Face heruntergeladen. AI Game Dev hostet sie nicht.

Versionen

Releases von Fun-CosyVoice3 (Sprachmodell)
VersionVeröffentlichtBenötigt die App
1.0.2Neueste0.32.0-beta.6 oder neuer
1.0.10.32.0-beta.6 oder neuer

Installieren

In der Desktop-App

Öffne das Fenster Packages (das Paket-Symbol in der Statusleiste), wähle Browse, suche aigd.tts-cosyvoice3 und klicke auf Add to Project.

Noch keine App? Lade AI Game Dev kostenlos herunter für Windows, macOS oder Linux.

Im Terminal

Mit der gamedev CLI in deinem Projektordner:

gamedev pkg add aigd.tts-cosyvoice3

Voraussetzungen

  • AI Game Dev 0.32.0-beta.6 oder neuer

Mehr zu Packages

Installieren
gamedev pkg add aigd.tts-cosyvoice3