Fun-CosyVoice3(语音模型)
gamedev pkg add aigd.tts-cosyvoice3概览
来自阿里巴巴通义实验室的本地声音克隆文本转语音:Fun-CosyVoice3 0.5B 能用一段 3-30 秒的音频中的嗓音,以中文、英语、日语、韩语、德语、西班牙语、法语、意大利语、俄语和粤语说话,并遵循风格指令(情绪、语速、方言)。通过 audio.cpp 在你的 GPU 上运行。Apache-2.0。
Fun-CosyVoice3 0.5B(阿里巴巴通义实验室)是一个声音克隆文本转语音模型:它用一段简短参考音频中的嗓音朗读你的文本,支持九种语言外加粤语,并遵循情绪、语速或方言等风格指令。在 AI Game Dev 中,它通过本地音频生成(aigd.audiocpp,即 audio.cpp 运行时)在你的 GPU 上运行。它适合需要同一个角色声音覆盖亚洲和欧洲多种语言的游戏。
你可以制作什么
- 用一段 3–30 秒的音频克隆出的嗓音,说出中文、英语、日语、韩语、德语、西班牙语、法语、意大利语、俄语或粤语的角色对白。
- 跨语言配音:同一个嗓音说出与参考音频中不同的语言。
- 按指令生成同一句台词的不同版本:更温暖、更快、更悲伤,或换成某种方言。
示例请求
- “克隆
Audio/ref/merchant.wav,并用日语和韩语说出商人的问候语。” - “用同一个嗓音读这句台词,但语气温暖一些,语速稍慢一点。”
- “用我添加的参考音频,为商店对话配上粤语版本。”
亮点
| 模型 ID | aigd.tts-cosyvoice3.q8-0 |
| 语言 | zh、en、ja、ko、de、es、fr、it、ru、yue(粤语) |
| 嗓音 | 始终克隆自一段 3–30 秒的参考音频(转写文本可选) |
| 风格指令 | 支持(情绪、语速、方言) |
| 输出 | 24 kHz,单声道 WAV |
| 单次请求文本量 | 最多 2,000 个字符 |
| 运行于 | NVIDIA(CUDA)、Vulkan 或 Mac(Metal)GPU |
| 下载 | 2.26 GB,1 个文件 |
| 许可 | Apache-2.0,允许商用 |
运行方式
每次请求都需要一段 3–30 秒的参考音频(项目中的 WAV 文件)。配合其转写文本,模型能紧密克隆该嗓音;不提供转写文本时,则进行跨语言克隆。风格指令(“温暖地说”“更快”、某种方言)会改变表达方式。
此包仅为数据。它指定一个文件;应用在你确认后下载该文件,用 sha256 校验,并通过 audio.cpp 在你的电脑上运行。
下载
2.26 GB,一个文件,锁定到 Hugging Face 提交 b7b9aa1f:
| 文件 | 来源 | 大小 |
|---|---|---|
cosyvoice3-q8_0.gguf | audio-cpp/audio.cpp-gguf | 2.26 GB |
从 FunAudioLLM/Fun-CosyVoice3-0.5B-2512 转换而来。
适用电脑
| 电脑 | 需求 | 速度 |
|---|---|---|
| NVIDIA GPU(CUDA)或其他 GPU(Vulkan) | 约 4 GB GPU 显存(估算) | 尚未实测 |
| 搭载 Apple 芯片的 Mac(Metal) | 约 8 GB 内存(估算) | 尚未实测 |
许可
Apache-2.0。允许商用。
- Fun-CosyVoice3-0.5B-2512 © 阿里巴巴通义实验室(FunAudioLLM)— 模型卡(
license: apache-2.0)。模型仓库未附带 LICENSE 文件;Apache-2.0 文本位于 CosyVoice 代码仓库。 - GGUF 转换由 audio.cpp 完成 —
audio-cpp/audio.cpp-gguf;audio.cpp 的 模型许可表 将其列为 Apache-2.0,允许商用。
再分发权重时必须署名:附上 Apache-2.0 许可文本与声明。你生成的语音无需署名。
限制,直说:除许可声明外,许可中没有其他限制。只克隆你有权使用的声音;你对生成的内容负责。
如包中所声明(license):
- 许可:Apache-2.0 — https://github.com/FunAudioLLM/CosyVoice/blob/main/LICENSE
- 署名:Fun-CosyVoice3-0.5B-2512 © 阿里巴巴通义实验室(FunAudioLLM),Apache-2.0;GGUF 转换由 audio.cpp 完成
- 限制(署名):再分发权重时必须附上 Apache-2.0 许可文本与声明。
- 限制(其他):Hugging Face 模型仓库在其模型卡中声明 Apache-2.0,但未附带 LICENSE 文件;许可文本位于 FunAudioLLM/CosyVoice 代码仓库。
- 限制(其他):声音克隆:仅使用你有权复制的声音;你对生成的内容负责。
所有文件均从 Hugging Face 下载。AI Game Dev 不托管这些文件。
版本
| 版本 | 发布时间 | 需要应用 |
|---|---|---|
| 1.0.2最新 | 0.32.0-beta.6 或更高版本 | |
| 1.0.1 | 0.32.0-beta.6 或更高版本 |
安装
在桌面应用中安装
打开包窗口(状态栏中的包图标),选择浏览,搜索 aigd.tts-cosyvoice3,然后点击添加到项目。
还没安装应用?免费下载 AI Game Dev,支持 Windows、macOS 和 Linux。
从终端安装
在项目文件夹中使用 gamedev CLI:
gamedev pkg add aigd.tts-cosyvoice3环境要求
- AI Game Dev 0.32.0-beta.6 或更高版本
gamedev pkg add aigd.tts-cosyvoice3