VoxCPM2(语音模型)
gamedev pkg add aigd.audio-voxcpm2概览
OpenBMB 的 VoxCPM2:48 kHz 的语音合成,支持 30 种语言和 9 种汉语方言,可从短音频克隆音色、按描述设计音色,并用情感与语速指令控制,适用于角色对白和旁白。通过 audio.cpp 在你的 GPU 上本地运行。Apache-2.0,允许商用。
VoxCPM2 是 OpenBMB 推出的 2B 参数语音模型,基于 MiniCPM-4。它能在 48 kHz 下说 30 种语言和 9 种汉语方言,并在同一个模型里完成三件事:从短音频克隆音色、根据文字描述设计新音色,以及用指令控制情感和语速。在 AI Game Dev 应用中,它通过本地音频生成(aigd.audiocpp,audio.cpp 运行时)在你的 GPU 上本地运行,因此每句对白都不产生任何费用。它适合需要为角色配上多种语言语音的游戏开发者,采用 Apache-2.0 许可,允许商业使用。
你可以制作什么
- 30 种语言的 NPC 对白与旁白,适合本地化的游戏。
- 从一段短录音克隆出的角色音色(你自己的,或经配音演员同意的)。
- 用文字描述出的新角色音色(“年轻女性,声音温柔甜美”)。
- 剧情场景中的情感演绎(“激动,语速快”),也可与克隆或设计的音色组合使用。
- 更长的段落:每次请求最多 2,000 个字符。
示例请求
- “使用
voice/hero.wav及其转写文本,用dialogue/act1.txt朗读主角的台词。” - “创建一个年迈而睿智的巫师音色,让他用英语和西班牙语说出预言。”
- “用泰语、越南语和印尼语朗读商店问候语,欢快且语速快。”
- “用平静低沉的嗓音为
dialogue/intro.txt配旁白。”
功能亮点
| 规格 | 值 |
|---|---|
| 语言 | 30 种语言和 9 种汉语方言(见下方列表) |
| 输出 | 48 kHz 单声道 WAV,保存到你的项目中 |
| 每次请求文本 | 最多 2,000 个字符 |
| 音色 | 从音频片段克隆(2–30 秒)、按描述设计,或由模型自行选择 |
| 步数 | 默认 10 个 flow 步,最多 50 |
| 引导系数 | 默认 2 |
- 30 种语言:阿拉伯语、缅甸语、中文、丹麦语、荷兰语、英语、芬兰语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、高棉语、韩语、老挝语、马来语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、斯瓦希里语、瑞典语、他加禄语、泰语、土耳其语、越南语——以及 9 种汉语方言。它会自行检测文本的语言;语言设置仅作参考。
- 音色克隆:从一段短音频(2–30 秒,要克隆的音色)克隆。如果提供音频片段的准确转写文本,应用会开启 VoxCPM2 的“极致克隆”(
ultimate_clone),相似度最高。 - 音色设计:用文字描述音色(“年轻女性,声音温柔甜美”)。
- 情感与语速:一条指令(“激动,语速快”)。与音色设计或克隆搭配时,两者都会生效。audio.cpp 按 VoxCPM2 期望的方式传入:放在文本前面的括号中。
- 如果没有音频片段或描述,模型会自行挑选一个音色。audio.cpp 自身的默认种子是固定的(1234);Asset Studio 每次点击生成都会发送新的种子,智能体也可以自行设置。
如果想要九个现成的内置音色,请参见 Qwen3-TTS 1.7B CustomVoice。
这个包只包含数据。它指定了模型文件。应用会在你确认后下载它,用 sha256 校验,并通过 audio.cpp 在你的电脑上运行。
下载
2.96 GB,单个文件,固定到某个 Hugging Face 提交:
| 文件 | 来源 | 大小 |
|---|---|---|
voxcpm2-q8_0.gguf(语言模型、扩散解码器和 AudioVAE 合于一个文件) | audio-cpp/audio.cpp-gguf @ b7b9aa1f | 2.96 GB |
适用于哪些电脑
| 电脑 | 需求 | 速度 |
|---|---|---|
| NVIDIA GPU(CUDA)或其他 GPU(Vulkan) | 约 8 GB 显存(OpenBMB 给出的数据) | 尚未实测 |
| 搭载 Apple 芯片的 Mac(Metal) | 约 16 GB 内存(估算) | 尚未实测 |
OpenBMB 给出的约 8 GB 是针对原始权重的;这个 q8_0 文件更小,该数值会在发布前于真实 GPU 上核实。
许可
Apache-2.0。允许将模型及其生成的语音用于商业用途。
- VoxCPM2 © OpenBMB — 模型卡(
license: apache-2.0,“可免费商用”),许可文本。 - GGUF 打包:
audio-cpp/audio.cpp-gguf— 仓库卡片将VoxCPM2-GGUF列为 Apache-2.0,受原始模型许可约束。
再分发权重时必须保留的署名:保留 VoxCPM2 的 Apache-2.0 许可文本及其声明。你生成的语音无需署名。
限制说明白些:除了声明要求之外,许可本身没有任何限制——没有地域限制,没有收入上限,没有水印。模型卡另外增加了一条使用规则:严禁冒充他人、欺诈和散布虚假信息,AI 生成的语音应清晰标注。只克隆你有权使用的音色(你自己的,或经说话人同意的)。
所有文件都从 Hugging Face 下载。AI Game Dev 不托管这些文件。
版本
| 版本 | 发布时间 | 需要应用 |
|---|---|---|
| 1.0.2最新 | 0.32.0-beta.6 或更高版本 | |
| 1.0.1 | 0.32.0-beta.6 或更高版本 |
安装
在桌面应用中安装
打开包窗口(状态栏中的包图标),选择浏览,搜索 aigd.audio-voxcpm2,然后点击添加到项目。
还没安装应用?免费下载 AI Game Dev,支持 Windows、macOS 和 Linux。
从终端安装
在项目文件夹中使用 gamedev CLI:
gamedev pkg add aigd.audio-voxcpm2环境要求
- AI Game Dev 0.32.0-beta.6 或更高版本
gamedev pkg add aigd.audio-voxcpm2