Fun-CosyVoice3(語音模型)
gamedev pkg add aigd.tts-cosyvoice3總覽
來自阿里巴巴通義實驗室的本地語音克隆文字轉語音模型:Fun-CosyVoice3 0.5B 能用 3–30 秒片段中的聲音,說出中文、英文、日文、韓文、德文、西班牙文、法文、義大利文、俄文和粵語,並遵循風格指示(情緒、語速、方言)。透過 audio.cpp 在你的 GPU 上執行。Apache-2.0。
Fun-CosyVoice3 0.5B(阿里巴巴通義實驗室)是一款語音克隆文字轉語音模型:它能用一段簡短參考片段中的聲音,說出你提供的文字,涵蓋九種語言加上粵語,並遵循情緒、語速或方言等風格指示。在 AI Game Dev 中,它透過 本機音訊生成(aigd.audiocpp,audio.cpp 執行環境)在你的 GPU 上執行。它適合需要同一角色聲音橫跨亞洲與歐洲語言的遊戲。
你可以製作什麼
- 以 3–30 秒片段克隆出來的聲音,呈現中文、英文、日文、韓文、德文、西班牙文、法文、義大利文、俄文或粵語的角色對白。
- 跨語言配音:同一個聲音說出與片段不同的語言。
- 依指示產生同一句台詞的變化版本:更溫暖、更快、更悲傷,或帶有方言。
範例請求
- 「克隆
Audio/ref/merchant.wav,並用日文和韓文說出商人的招呼語。」 - 「用同一個聲音唸這句台詞,但語氣溫暖一點、速度慢一點。」
- 「用我加入的參考片段,為商店對白配音粵語版本。」
重點特色
| 模型 ID | aigd.tts-cosyvoice3.q8-0 |
| 語言 | zh、en、ja、ko、de、es、fr、it、ru、yue(粵語) |
| 聲音 | 一律克隆自 3–30 秒的參考片段(轉錄文字可選) |
| 風格指示 | 支援(情緒、語速、方言) |
| 輸出 | 24 kHz 單聲道 WAV |
| 每次請求的文字量 | 最多 2,000 個字元 |
| 執行環境 | NVIDIA(CUDA)、Vulkan 或 Mac(Metal)GPU |
| 下載 | 2.26 GB,1 個檔案 |
| 授權 | Apache-2.0,允許商業使用 |
運作方式
每次請求都需要一段 3–30 秒的參考片段(專案中的 WAV 檔)。提供轉錄文字時,模型會貼近地克隆該聲音;沒有轉錄文字時,則進行跨語言克隆。風格指示(「溫暖地說」、「更快」、某種方言)會改變呈現方式。
這個套件只包含資料。它指名一個檔案;在你確認後,應用程式會下載該檔案、以 sha256 檢查,並在你的電腦上透過 audio.cpp 執行。
下載
2.26 GB,一個檔案,固定於 Hugging Face 的提交 b7b9aa1f:
| 檔案 | 來源 | 大小 |
|---|---|---|
cosyvoice3-q8_0.gguf | audio-cpp/audio.cpp-gguf | 2.26 GB |
轉換自 FunAudioLLM/Fun-CosyVoice3-0.5B-2512。
適用電腦
| 電腦 | 需求 | 速度 |
|---|---|---|
| NVIDIA GPU(CUDA)或其他 GPU(Vulkan) | 約 4 GB GPU 記憶體(估計) | 尚未實測 |
| 搭載 Apple 晶片的 Mac(Metal) | 約 8 GB 記憶體(估計) | 尚未實測 |
授權
Apache-2.0。允許商業使用。
- Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba(FunAudioLLM)— 模型卡(
license: apache-2.0)。模型儲存庫沒有附上 LICENSE 檔;Apache-2.0 的條文位於 CosyVoice 程式碼儲存庫。 - GGUF 轉換由 audio.cpp 完成 —
audio-cpp/audio.cpp-gguf;audio.cpp 的 模型授權表 將其列為 Apache-2.0,允許商業使用:是。
重新散布權重時必須標註:Apache-2.0 授權條文與聲明。你生成的語音則無需標註。
限制,坦白說:除了授權條文中的聲明外,沒有其他限制。只克隆你有權使用的聲音;你必須對自己生成的內容負責。
如套件中所宣告(license):
- 授權:Apache-2.0 — https://github.com/FunAudioLLM/CosyVoice/blob/main/LICENSE
- 標註:Fun-CosyVoice3-0.5B-2512 © Tongyi Lab, Alibaba(FunAudioLLM),Apache-2.0;GGUF 轉換由 audio.cpp 完成
- 限制(標註):重新散布權重時必須附上 Apache-2.0 授權條文與聲明。
- 限制(其他):Hugging Face 模型儲存庫在其模型卡中宣告 Apache-2.0,但未附上 LICENSE 檔;授權條文位於 FunAudioLLM/CosyVoice 程式碼儲存庫。
- 限制(其他):語音克隆:僅可使用你獲得許可重製的聲音;你必須對自己生成的內容負責。
所有檔案都從 Hugging Face 下載。AI Game Dev 不自行託管這些檔案。
版本
| 版本 | 發布日期 | 需搭配應用程式 |
|---|---|---|
| 1.0.2最新 | 0.32.0-beta.6 或更新版本 | |
| 1.0.1 | 0.32.0-beta.6 或更新版本 |
安裝
在桌面應用程式中
開啟 套件 視窗(狀態列上的套件圖示),選擇 瀏覽,搜尋 aigd.tts-cosyvoice3,然後點選 加到專案。
還沒安裝應用程式?免費下載 AI Game Dev,支援 Windows、macOS 與 Linux。
從終端機
在你的專案資料夾中,使用 gamedev CLI:
gamedev pkg add aigd.tts-cosyvoice3需求
- AI Game Dev 0.32.0-beta.6 或更新版本
gamedev pkg add aigd.tts-cosyvoice3