本頁面由英文機器翻譯而成。閱讀英文原文。

Fun-CosyVoice3(語音模型)

官方音訊GPUv1.0.2aigd.tts-cosyvoice3
安裝 還沒安裝應用程式?免費下載
或在終端機中執行
gamedev pkg add aigd.tts-cosyvoice3
在你的電腦上執行。 只需下載一次模型,之後便在這台電腦的 GPU 上生成。

總覽

來自阿里巴巴通義實驗室的本地語音克隆文字轉語音模型:Fun-CosyVoice3 0.5B 能用 3–30 秒片段中的聲音,說出中文、英文、日文、韓文、德文、西班牙文、法文、義大利文、俄文和粵語,並遵循風格指示(情緒、語速、方言)。透過 audio.cpp 在你的 GPU 上執行。Apache-2.0。

Fun-CosyVoice3 0.5B(阿里巴巴通義實驗室)是一款語音克隆文字轉語音模型:它能用一段簡短參考片段中的聲音,說出你提供的文字,涵蓋九種語言加上粵語,並遵循情緒、語速或方言等風格指示。在 AI Game Dev 中,它透過 本機音訊生成(aigd.audiocpp,audio.cpp 執行環境)在你的 GPU 上執行。它適合需要同一角色聲音橫跨亞洲與歐洲語言的遊戲。

你可以製作什麼

  • 以 3–30 秒片段克隆出來的聲音,呈現中文、英文、日文、韓文、德文、西班牙文、法文、義大利文、俄文或粵語的角色對白。
  • 跨語言配音:同一個聲音說出與片段不同的語言。
  • 依指示產生同一句台詞的變化版本:更溫暖、更快、更悲傷,或帶有方言。

範例請求

  • 「克隆 Audio/ref/merchant.wav,並用日文和韓文說出商人的招呼語。」
  • 「用同一個聲音唸這句台詞,但語氣溫暖一點、速度慢一點。」
  • 「用我加入的參考片段,為商店對白配音粵語版本。」

重點特色

模型 IDaigd.tts-cosyvoice3.q8-0
語言zh、en、ja、ko、de、es、fr、it、ru、yue(粵語)
聲音一律克隆自 3–30 秒的參考片段(轉錄文字可選)
風格指示支援(情緒、語速、方言)
輸出24 kHz 單聲道 WAV
每次請求的文字量最多 2,000 個字元
執行環境NVIDIA(CUDA)、Vulkan 或 Mac(Metal)GPU
下載2.26 GB,1 個檔案
授權Apache-2.0,允許商業使用

運作方式

每次請求都需要一段 3–30 秒的參考片段(專案中的 WAV 檔)。提供轉錄文字時,模型會貼近地克隆該聲音;沒有轉錄文字時,則進行跨語言克隆。風格指示(「溫暖地說」、「更快」、某種方言)會改變呈現方式。

這個套件只包含資料。它指名一個檔案;在你確認後,應用程式會下載該檔案、以 sha256 檢查,並在你的電腦上透過 audio.cpp 執行。

下載

2.26 GB,一個檔案,固定於 Hugging Face 的提交 b7b9aa1f:

檔案來源大小
cosyvoice3-q8_0.ggufaudio-cpp/audio.cpp-gguf2.26 GB

轉換自 FunAudioLLM/Fun-CosyVoice3-0.5B-2512。

適用電腦

電腦需求速度
NVIDIA GPU(CUDA)或其他 GPU(Vulkan)約 4 GB GPU 記憶體(估計)尚未實測
搭載 Apple 晶片的 Mac(Metal)約 8 GB 記憶體(估計)尚未實測

授權

Apache-2.0。允許商業使用。

重新散布權重時必須標註:Apache-2.0 授權條文與聲明。你生成的語音則無需標註。

限制,坦白說:除了授權條文中的聲明外,沒有其他限制。只克隆你有權使用的聲音;你必須對自己生成的內容負責。

如套件中所宣告(license):

  • 授權:Apache-2.0 — https://github.com/FunAudioLLM/CosyVoice/blob/main/LICENSE
  • 標註:Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba(FunAudioLLM),Apache-2.0;GGUF 轉換由 audio.cpp 完成
  • 限制(標註):重新散布權重時必須附上 Apache-2.0 授權條文與聲明。
  • 限制(其他):Hugging Face 模型儲存庫在其模型卡中宣告 Apache-2.0,但未附上 LICENSE 檔;授權條文位於 FunAudioLLM/CosyVoice 程式碼儲存庫。
  • 限制(其他):語音克隆:僅可使用你獲得許可重製的聲音;你必須對自己生成的內容負責。

所有檔案都從 Hugging Face 下載。AI Game Dev 不自行託管這些檔案。

版本

Fun-CosyVoice3(語音模型) 的發布版本
版本發布日期需搭配應用程式
1.0.2最新0.32.0-beta.6 或更新版本
1.0.10.32.0-beta.6 或更新版本

安裝

在桌面應用程式中

開啟 套件 視窗(狀態列上的套件圖示),選擇 瀏覽,搜尋 aigd.tts-cosyvoice3,然後點選 加到專案。

還沒安裝應用程式?免費下載 AI Game Dev,支援 Windows、macOS 與 Linux。

從終端機

在你的專案資料夾中,使用 gamedev CLI:

gamedev pkg add aigd.tts-cosyvoice3

需求

  • AI Game Dev 0.32.0-beta.6 或更新版本

進一步瞭解套件

安裝
gamedev pkg add aigd.tts-cosyvoice3