本页由英文机器翻译而成。阅读英文原文。

VoxCPM2(语音模型)

官方音频GPUv1.0.2aigd.audio-voxcpm2
安装 还没安装应用?免费下载
或从终端安装
gamedev pkg add aigd.audio-voxcpm2
在你的电脑上运行。 只需下载一次模型,之后即可在这台电脑的 GPU 上生成。

概览

OpenBMB 的 VoxCPM2:48 kHz 的语音合成,支持 30 种语言和 9 种汉语方言,可从短音频克隆音色、按描述设计音色,并用情感与语速指令控制,适用于角色对白和旁白。通过 audio.cpp 在你的 GPU 上本地运行。Apache-2.0,允许商用。

VoxCPM2 是 OpenBMB 推出的 2B 参数语音模型,基于 MiniCPM-4。它能在 48 kHz 下说 30 种语言和 9 种汉语方言,并在同一个模型里完成三件事:从短音频克隆音色、根据文字描述设计新音色,以及用指令控制情感和语速。在 AI Game Dev 应用中,它通过本地音频生成(aigd.audiocpp,audio.cpp 运行时)在你的 GPU 上本地运行,因此每句对白都不产生任何费用。它适合需要为角色配上多种语言语音的游戏开发者,采用 Apache-2.0 许可,允许商业使用。

你可以制作什么

  • 30 种语言的 NPC 对白与旁白,适合本地化的游戏。
  • 从一段短录音克隆出的角色音色(你自己的,或经配音演员同意的)。
  • 用文字描述出的新角色音色(“年轻女性,声音温柔甜美”)。
  • 剧情场景中的情感演绎(“激动,语速快”),也可与克隆或设计的音色组合使用。
  • 更长的段落:每次请求最多 2,000 个字符。

示例请求

  • “使用 voice/hero.wav 及其转写文本,用 dialogue/act1.txt 朗读主角的台词。”
  • “创建一个年迈而睿智的巫师音色,让他用英语和西班牙语说出预言。”
  • “用泰语、越南语和印尼语朗读商店问候语,欢快且语速快。”
  • “用平静低沉的嗓音为 dialogue/intro.txt 配旁白。”

功能亮点

规格值
语言30 种语言和 9 种汉语方言(见下方列表)
输出48 kHz 单声道 WAV,保存到你的项目中
每次请求文本最多 2,000 个字符
音色从音频片段克隆(2–30 秒)、按描述设计,或由模型自行选择
步数默认 10 个 flow 步,最多 50
引导系数默认 2
  • 30 种语言:阿拉伯语、缅甸语、中文、丹麦语、荷兰语、英语、芬兰语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、高棉语、韩语、老挝语、马来语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、斯瓦希里语、瑞典语、他加禄语、泰语、土耳其语、越南语——以及 9 种汉语方言。它会自行检测文本的语言;语言设置仅作参考。
  • 音色克隆:从一段短音频(2–30 秒,要克隆的音色)克隆。如果提供音频片段的准确转写文本,应用会开启 VoxCPM2 的“极致克隆”(ultimate_clone),相似度最高。
  • 音色设计:用文字描述音色(“年轻女性,声音温柔甜美”)。
  • 情感与语速:一条指令(“激动,语速快”)。与音色设计或克隆搭配时,两者都会生效。audio.cpp 按 VoxCPM2 期望的方式传入:放在文本前面的括号中。
  • 如果没有音频片段或描述,模型会自行挑选一个音色。audio.cpp 自身的默认种子是固定的(1234);Asset Studio 每次点击生成都会发送新的种子,智能体也可以自行设置。

如果想要九个现成的内置音色,请参见 Qwen3-TTS 1.7B CustomVoice。

这个包只包含数据。它指定了模型文件。应用会在你确认后下载它,用 sha256 校验,并通过 audio.cpp 在你的电脑上运行。

下载

2.96 GB,单个文件,固定到某个 Hugging Face 提交:

文件来源大小
voxcpm2-q8_0.gguf(语言模型、扩散解码器和 AudioVAE 合于一个文件)audio-cpp/audio.cpp-gguf @ b7b9aa1f2.96 GB

适用于哪些电脑

电脑需求速度
NVIDIA GPU(CUDA)或其他 GPU(Vulkan)约 8 GB 显存(OpenBMB 给出的数据)尚未实测
搭载 Apple 芯片的 Mac(Metal)约 16 GB 内存(估算)尚未实测

OpenBMB 给出的约 8 GB 是针对原始权重的;这个 q8_0 文件更小,该数值会在发布前于真实 GPU 上核实。

许可

Apache-2.0。允许将模型及其生成的语音用于商业用途。

再分发权重时必须保留的署名:保留 VoxCPM2 的 Apache-2.0 许可文本及其声明。你生成的语音无需署名。

限制说明白些:除了声明要求之外,许可本身没有任何限制——没有地域限制,没有收入上限,没有水印。模型卡另外增加了一条使用规则:严禁冒充他人、欺诈和散布虚假信息,AI 生成的语音应清晰标注。只克隆你有权使用的音色(你自己的,或经说话人同意的)。

所有文件都从 Hugging Face 下载。AI Game Dev 不托管这些文件。

版本

VoxCPM2(语音模型) 的发布版本
版本发布时间需要应用
1.0.2最新0.32.0-beta.6 或更高版本
1.0.10.32.0-beta.6 或更高版本

安装

在桌面应用中安装

打开包窗口(状态栏中的包图标),选择浏览,搜索 aigd.audio-voxcpm2,然后点击添加到项目。

还没安装应用?免费下载 AI Game Dev,支持 Windows、macOS 和 Linux。

从终端安装

在项目文件夹中使用 gamedev CLI:

gamedev pkg add aigd.audio-voxcpm2

环境要求

  • AI Game Dev 0.32.0-beta.6 或更高版本

进一步了解包

安装
gamedev pkg add aigd.audio-voxcpm2