このページは英語から機械翻訳されています。英語の原文を読む。

Fun-CosyVoice3(音声モデル)

公式オーディオGPUv1.0.2aigd.tts-cosyvoice3
インストール アプリがまだない方は 無料でダウンロード
またはターミナルから
gamedev pkg add aigd.tts-cosyvoice3
お使いのコンピューターで実行します。 モデルを一度ダウンロードするだけで、このコンピューターの GPU で生成します。

概要

AlibabaのTongyi Labによるローカル音声クローニング型テキスト読み上げ:Fun-CosyVoice3 0.5Bは、3〜30秒のクリップの声で中国語、英語、日本語、韓国語、ドイツ語、スペイン語、フランス語、イタリア語、ロシア語、広東語を話し、スタイル指示(感情、速度、方言)に従います。audio.cppでお使いのGPU上で動作します。Apache-2.0。

Fun-CosyVoice3 0.5B(Tongyi Lab、Alibaba)は音声クローニング型のテキスト読み上げモデルです。短い参照クリップの声でテキストを読み上げ、9言語と広東語に対応し、感情・速度・方言といったスタイル指示に従います。AI Game Devではローカル音声生成(aigd.audiocpp、audio.cppランタイム)を通じてお使いのGPU上で動作します。アジアとヨーロッパの言語をまたいで1人のキャラクターの声が必要なゲームに適しています。

作成できるもの

  • 3〜30秒のクリップからクローンした声によるキャラクターのセリフを、中国語、英語、日本語、韓国語、ドイツ語、スペイン語、フランス語、イタリア語、ロシア語、広東語で。
  • 言語をまたいだボイスオーバー:クリップと同じ声で、クリップとは別の言語を話させられます。
  • 指示によるセリフのバリエーション:より温かく、より速く、より悲しげに、あるいは方言で。

リクエスト例

  • 「Audio/ref/merchant.wavをクローンして、商人の挨拶を日本語と韓国語で話して」
  • 「このセリフを同じ声で読んで。ただし温かく、少しゆっくりと」
  • 「追加した参照クリップで、店の会話の広東語版を音声にしてください」

ハイライト

モデルIDaigd.tts-cosyvoice3.q8-0
言語zh、en、ja、ko、de、es、fr、it、ru、yue(広東語)
音声常に3〜30秒の参照クリップのクローン(書き起こしは任意)
スタイル指示あり(感情、速度、方言)
出力24 kHz、モノラルWAV
1リクエストあたりのテキスト最大2,000文字
動作環境NVIDIA(CUDA)、Vulkan、またはMac(Metal)のGPU
ダウンロード2.26 GB、1ファイル
ライセンスApache-2.0、商用利用可

動作の仕組み

すべてのリクエストには3〜30秒の参照クリップ(プロジェクト内のWAV)が必要です。書き起こしを添えるとモデルは声を忠実にクローンし、添えない場合は言語をまたいでクローンします。スタイル指示(「温かく話して」「もっと速く」、方言など)によって話し方が変わります。

このパッケージはデータのみです。1つのファイルを指定しており、アプリは確認後にダウンロードし、sha256で検証して、お使いのコンピューター上でaudio.cppを使って実行します。

ダウンロード

2.26 GB、1ファイル、Hugging Faceのコミットb7b9aa1fに固定:

ファイル取得元サイズ
cosyvoice3-q8_0.ggufaudio-cpp/audio.cpp-gguf2.26 GB

FunAudioLLM/Fun-CosyVoice3-0.5B-2512から変換。

対応コンピューター

コンピューター必要なもの速度
NVIDIA GPU(CUDA)またはその他のGPU(Vulkan)約4 GBのGPUメモリ(推定)未計測
Appleシリコン搭載Mac(Metal)約8 GBのメモリ(推定)未計測

ライセンス

Apache-2.0。商用利用は可能です。

重みを再配布する際に必要な表示:Apache-2.0のライセンス条文と通知。生成した音声には表示義務はありません。

制限について率直に言えば、ライセンス上の制限は通知以外にありません。クローンするのは使用する権利のある声だけにしてください。生成したものについてはご自身が責任を負います。

パッケージでの宣言(license):

  • ライセンス:Apache-2.0 — https://github.com/FunAudioLLM/CosyVoice/blob/main/LICENSE
  • 表示:Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba(FunAudioLLM)、Apache-2.0。GGUFへの変換はaudio.cpp
  • 制限(表示):重みを再配布するには、Apache-2.0のライセンス条文と通知が必要です。
  • 制限(その他):Hugging FaceのモデルリポジトリはカードでApache-2.0を宣言していますが、LICENSEファイルは含まれていません。ライセンス条文はFunAudioLLM/CosyVoiceコードリポジトリにあります。
  • 制限(その他):音声クローニング:複製する許可を得ている声だけを使用してください。生成したものについてはご自身が責任を負います。

すべてのファイルはHugging Faceからダウンロードされます。AI Game Devはそれらをホストしていません。

バージョン

Fun-CosyVoice3(音声モデル)のリリース
バージョンリリース日アプリが必要
1.0.2最新0.32.0-beta.6 以降
1.0.10.32.0-beta.6 以降

インストール

デスクトップアプリで

Packages ウィンドウを開き(ステータスバーのパッケージアイコン)、Browse を選んで aigd.tts-cosyvoice3 を検索し、Add to Project をクリックします。

アプリがまだない方は、Windows、macOS、Linux 用の AI Game Dev を無料でダウンロードしてください。

ターミナルから

gamedev CLI を使い、プロジェクトフォルダーで実行します。

gamedev pkg add aigd.tts-cosyvoice3

必要条件

  • AI Game Dev 0.32.0-beta.6 以降

パッケージについて詳しく

インストール
gamedev pkg add aigd.tts-cosyvoice3