Fun-CosyVoice3 (Sprachmodell)
gamedev pkg add aigd.tts-cosyvoice3Übersicht
Lokale Text-zu-Sprache mit Stimmklonen von Alibabas Tongyi Lab: Fun-CosyVoice3 0.5B spricht mit der Stimme eines 3-30 s langen Clips auf Chinesisch, Englisch, Japanisch, Koreanisch, Deutsch, Spanisch, Französisch, Italienisch, Russisch und Kantonesisch und folgt Stil-Anweisungen (Emotion, Tempo, Dialekt). Läuft auf deiner GPU mit audio.cpp. Apache-2.0.
Fun-CosyVoice3 0.5B (Tongyi Lab, Alibaba) ist ein Text-zu-Sprache-Modell mit Stimmklonen: Es spricht deinen Text mit der Stimme eines kurzen Referenzclips, in neun Sprachen plus Kantonesisch, und folgt Stil-Anweisungen wie Emotion, Tempo oder Dialekt. In AI Game Dev läuft es über Local audio generation (aigd.audiocpp, die audio.cpp-Laufzeit) auf deiner GPU. Es passt zu Spielen, die eine Charakterstimme über asiatische und europäische Sprachen hinweg brauchen.
Was du erstellen kannst
- Charakterdialog in einer aus einem 3–30 s langen Clip geklonten Stimme – auf Chinesisch, Englisch, Japanisch, Koreanisch, Deutsch, Spanisch, Französisch, Italienisch, Russisch oder Kantonesisch.
- Sprachübergreifende Voice-overs: dieselbe Stimme spricht eine andere Sprache als die im Clip.
- Variationen einer Zeile per Anweisung: wärmer, schneller, trauriger oder in einem Dialekt.
Beispielanfragen
- "Klone
Audio/ref/merchant.wavund sag die Begrüßung des Händlers auf Japanisch und Koreanisch." - "Lies diese Zeile mit derselben Stimme, aber sprich warm und etwas langsamer."
- "Sprich die kantonesische Version des Ladendialogs mit dem Referenzclip, den ich hinzugefügt habe."
Highlights
| Modell-ID | aigd.tts-cosyvoice3.q8-0 |
| Sprachen | zh, en, ja, ko, de, es, fr, it, ru, yue (Kantonesisch) |
| Stimmen | immer ein Klon eines 3–30 s langen Referenzclips (Transkript optional) |
| Stil-Anweisungen | ja (Emotion, Tempo, Dialekt) |
| Ausgabe | 24 kHz, Mono-WAV |
| Text pro Anfrage | bis zu 2.000 Zeichen |
| Läuft auf | NVIDIA (CUDA), Vulkan oder Mac (Metal) GPUs |
| Download | 2.26 GB, 1 Datei |
| Lizenz | Apache-2.0, kommerzielle Nutzung erlaubt |
So läuft es
Jede Anfrage braucht einen 3–30 s langen Referenzclip (eine WAV-Datei in deinem Projekt). Mit seinem Transkript klont das Modell die Stimme eng; ohne eines klont es sprachübergreifend. Eine Stil-Anweisung ("sprich warm", "schneller", ein Dialekt) verändert die Vortragsweise.
Dieses Paket enthält nur Daten. Es benennt eine Datei; die App lädt sie nach deiner Bestätigung herunter, prüft sie per sha256 und führt sie mit audio.cpp auf deinem Computer aus.
Download
2.26 GB, eine Datei, festgelegt auf den Hugging Face Commit b7b9aa1f:
| Datei | Von | Größe |
|---|---|---|
cosyvoice3-q8_0.gguf | audio-cpp/audio.cpp-gguf | 2.26 GB |
Konvertiert aus FunAudioLLM/Fun-CosyVoice3-0.5B-2512.
Welche Computer
| Computer | Benötigt | Geschwindigkeit |
|---|---|---|
| NVIDIA GPU (CUDA) oder eine andere GPU (Vulkan) | etwa 4 GB GPU-Speicher (Schätzung) | noch nicht gemessen |
| Mac mit Apple silicon (Metal) | etwa 8 GB Arbeitsspeicher (Schätzung) | noch nicht gemessen |
Lizenz
Apache-2.0. Kommerzielle Nutzung ist erlaubt.
- Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba (FunAudioLLM) — Modellkarte (
license: apache-2.0). Das Modell-Repository enthält keine LICENSE-Datei; der Apache-2.0-Text steht im CosyVoice-Code-Repository. - GGUF-Konvertierung von audio.cpp —
audio-cpp/audio.cpp-gguf; die Modelllizenz-Tabelle von audio.cpp führt es als Apache-2.0, kommerzielle Nutzung: ja.
Erforderliche Namensnennung, wenn du die Gewichte weiterverbreitest: der Apache-2.0-Lizenztext und die Hinweise. Für die von dir erzeugte Sprache ist keine Namensnennung erforderlich.
Einschränkungen, klar gesagt: keine in der Lizenz über ihre Hinweise hinaus. Klone nur Stimmen, für die du die Rechte hast; du bist verantwortlich für das, was du erzeugst.
Wie im Paket angegeben (license):
- Lizenz: Apache-2.0 — https://github.com/FunAudioLLM/CosyVoice/blob/main/LICENSE
- Namensnennung: Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba (FunAudioLLM), Apache-2.0; GGUF-Konvertierung von audio.cpp
- Einschränkung (Namensnennung): Die Weitergabe der Gewichte erfordert den Apache-2.0-Lizenztext und die Hinweise.
- Einschränkung (sonstige): Das Hugging Face Modell-Repository deklariert Apache-2.0 in seiner Karte, liefert aber keine LICENSE-Datei; der Lizenztext steht im Code-Repository FunAudioLLM/CosyVoice.
- Einschränkung (sonstige): Stimmklonen: Verwende nur Stimmen, deren Wiedergabe dir erlaubt ist; du bist verantwortlich für das, was du erzeugst.
Alle Dateien werden von Hugging Face heruntergeladen. AI Game Dev hostet sie nicht.
Versionen
| Version | Veröffentlicht | Benötigt die App |
|---|---|---|
| 1.0.2Neueste | 0.32.0-beta.6 oder neuer | |
| 1.0.1 | 0.32.0-beta.6 oder neuer |
Installieren
In der Desktop-App
Öffne das Fenster Packages (das Paket-Symbol in der Statusleiste), wähle Browse, suche aigd.tts-cosyvoice3 und klicke auf Add to Project.
Noch keine App? Lade AI Game Dev kostenlos herunter für Windows, macOS oder Linux.
Im Terminal
Mit der gamedev CLI in deinem Projektordner:
gamedev pkg add aigd.tts-cosyvoice3Voraussetzungen
- AI Game Dev 0.32.0-beta.6 oder neuer
gamedev pkg add aigd.tts-cosyvoice3