Fun-CosyVoice3(音声モデル)
gamedev pkg add aigd.tts-cosyvoice3概要
AlibabaのTongyi Labによるローカル音声クローニング型テキスト読み上げ:Fun-CosyVoice3 0.5Bは、3〜30秒のクリップの声で中国語、英語、日本語、韓国語、ドイツ語、スペイン語、フランス語、イタリア語、ロシア語、広東語を話し、スタイル指示(感情、速度、方言)に従います。audio.cppでお使いのGPU上で動作します。Apache-2.0。
Fun-CosyVoice3 0.5B(Tongyi Lab、Alibaba)は音声クローニング型のテキスト読み上げモデルです。短い参照クリップの声でテキストを読み上げ、9言語と広東語に対応し、感情・速度・方言といったスタイル指示に従います。AI Game Devではローカル音声生成(aigd.audiocpp、audio.cppランタイム)を通じてお使いのGPU上で動作します。アジアとヨーロッパの言語をまたいで1人のキャラクターの声が必要なゲームに適しています。
作成できるもの
- 3〜30秒のクリップからクローンした声によるキャラクターのセリフを、中国語、英語、日本語、韓国語、ドイツ語、スペイン語、フランス語、イタリア語、ロシア語、広東語で。
- 言語をまたいだボイスオーバー:クリップと同じ声で、クリップとは別の言語を話させられます。
- 指示によるセリフのバリエーション:より温かく、より速く、より悲しげに、あるいは方言で。
リクエスト例
- 「
Audio/ref/merchant.wavをクローンして、商人の挨拶を日本語と韓国語で話して」 - 「このセリフを同じ声で読んで。ただし温かく、少しゆっくりと」
- 「追加した参照クリップで、店の会話の広東語版を音声にしてください」
ハイライト
| モデルID | aigd.tts-cosyvoice3.q8-0 |
| 言語 | zh、en、ja、ko、de、es、fr、it、ru、yue(広東語) |
| 音声 | 常に3〜30秒の参照クリップのクローン(書き起こしは任意) |
| スタイル指示 | あり(感情、速度、方言) |
| 出力 | 24 kHz、モノラルWAV |
| 1リクエストあたりのテキスト | 最大2,000文字 |
| 動作環境 | NVIDIA(CUDA)、Vulkan、またはMac(Metal)のGPU |
| ダウンロード | 2.26 GB、1ファイル |
| ライセンス | Apache-2.0、商用利用可 |
動作の仕組み
すべてのリクエストには3〜30秒の参照クリップ(プロジェクト内のWAV)が必要です。書き起こしを添えるとモデルは声を忠実にクローンし、添えない場合は言語をまたいでクローンします。スタイル指示(「温かく話して」「もっと速く」、方言など)によって話し方が変わります。
このパッケージはデータのみです。1つのファイルを指定しており、アプリは確認後にダウンロードし、sha256で検証して、お使いのコンピューター上でaudio.cppを使って実行します。
ダウンロード
2.26 GB、1ファイル、Hugging Faceのコミットb7b9aa1fに固定:
| ファイル | 取得元 | サイズ |
|---|---|---|
cosyvoice3-q8_0.gguf | audio-cpp/audio.cpp-gguf | 2.26 GB |
FunAudioLLM/Fun-CosyVoice3-0.5B-2512から変換。
対応コンピューター
| コンピューター | 必要なもの | 速度 |
|---|---|---|
| NVIDIA GPU(CUDA)またはその他のGPU(Vulkan) | 約4 GBのGPUメモリ(推定) | 未計測 |
| Appleシリコン搭載Mac(Metal) | 約8 GBのメモリ(推定) | 未計測 |
ライセンス
Apache-2.0。商用利用は可能です。
- Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba(FunAudioLLM) — モデルカード(
license: apache-2.0)。モデルリポジトリにはLICENSEファイルが含まれていません。Apache-2.0の条文はCosyVoiceコードリポジトリにあります。 - GGUFへの変換はaudio.cpp —
audio-cpp/audio.cpp-gguf。audio.cppのモデルライセンス表ではApache-2.0、商用利用可と記載されています。
重みを再配布する際に必要な表示:Apache-2.0のライセンス条文と通知。生成した音声には表示義務はありません。
制限について率直に言えば、ライセンス上の制限は通知以外にありません。クローンするのは使用する権利のある声だけにしてください。生成したものについてはご自身が責任を負います。
パッケージでの宣言(license):
- ライセンス:Apache-2.0 — https://github.com/FunAudioLLM/CosyVoice/blob/main/LICENSE
- 表示:Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba(FunAudioLLM)、Apache-2.0。GGUFへの変換はaudio.cpp
- 制限(表示):重みを再配布するには、Apache-2.0のライセンス条文と通知が必要です。
- 制限(その他):Hugging FaceのモデルリポジトリはカードでApache-2.0を宣言していますが、LICENSEファイルは含まれていません。ライセンス条文はFunAudioLLM/CosyVoiceコードリポジトリにあります。
- 制限(その他):音声クローニング:複製する許可を得ている声だけを使用してください。生成したものについてはご自身が責任を負います。
すべてのファイルはHugging Faceからダウンロードされます。AI Game Devはそれらをホストしていません。
バージョン
| バージョン | リリース日 | アプリが必要 |
|---|---|---|
| 1.0.2最新 | 0.32.0-beta.6 以降 | |
| 1.0.1 | 0.32.0-beta.6 以降 |
インストール
デスクトップアプリで
Packages ウィンドウを開き(ステータスバーのパッケージアイコン)、Browse を選んで aigd.tts-cosyvoice3 を検索し、Add to Project をクリックします。
アプリがまだない方は、Windows、macOS、Linux 用の AI Game Dev を無料でダウンロードしてください。
ターミナルから
gamedev CLI を使い、プロジェクトフォルダーで実行します。
gamedev pkg add aigd.tts-cosyvoice3必要条件
- AI Game Dev 0.32.0-beta.6 以降
gamedev pkg add aigd.tts-cosyvoice3