本页由英文机器翻译而成。阅读英文原文。

Chatterbox Turbo(语音模型)

官方音频GPUv1.0.3aigd.tts-chatterbox-turbo
安装 还没安装应用?免费下载
或从终端安装
gamedev pkg add aigd.tts-chatterbox-turbo
在你的电脑上运行。 只需下载一次模型,之后即可在这台电脑的 GPU 上生成。

概览

来自 Resemble AI 的快速本地英语文本转语音模型(350M):可使用模型自带的声音,或使用从 5-30 s 片段克隆的声音,并可在文本中加入 [laugh]、[chuckle] 和 [cough] 等声音标签。适用于角色对话和旁白配音。通过 llama.cpp 在 GPU 或 CPU 上运行。MIT,允许商用。

支持音频

Chatterbox Turbo 是 Resemble AI 的 Chatterbox Turbo(350M):快速的英语文本转语音,可使用模型自带的音色,也可使用从短片段克隆的音色。文本中的 [laugh]、[chuckle]、[cough] 等标签会加入相应的声音。在 AI Game Dev 中,它通过 Local speech(aigd.llamacpp,llama.cpp)在你自己的电脑上运行,可使用 GPU 或 CPU。它适合希望用自选音色生成生动角色台词的英语游戏。

你可以制作什么

  • 用 5–30 s 片段克隆出的音色演绎英语角色对话(例如你自己的声音,或已同意的演员的声音),让同一角色在大量台词中保持一致的音色。
  • 在文本中内联写入非语言声音的台词:大笑、轻笑、咳嗽。
  • 未提供音频片段时,使用模型内置音色录制旁白和画外音。

示例请求

  • “以 Audio/ref/captain.wav 作为音色,说:‘Hold the line! [cough] They're coming.’”
  • “为酒馆老板的问候配音,结尾带一声轻笑。”
  • “用克隆的音色为反派的嘲讽配音:‘You call that a sword? [laugh]’”

亮点

模型 idaigd.tts-chatterbox-turbo.q8-0
语言英语
音色自带音色,或从 5–30 s 参考片段克隆的音色(无需转录文本)
声音标签[laugh]、[chuckle]、[cough] 及类似标签
输出24 kHz,单声道;每次运行最长约 40 s
每次请求的文本最多 500 个字符
运行于NVIDIA(CUDA)、Vulkan 和 Mac(Metal)GPU,或 CPU
下载1.04 GB,2 个文件
许可证MIT,允许商业使用

Turbo 还是 Multilingual V3

AI Game Dev 提供两个 Chatterbox 包:

  • Chatterbox Turbo(本包):仅英语,支持声音标签,通过 llama.cpp 在 GPU 或 CPU 上运行(在 16 线程 x86 CPU 上约为实时的 1.2–1.7 倍)。做英语游戏就选它。
  • Chatterbox Multilingual V3:支持 20 种语言和 Exaggeration(情绪)控制,在应用内置的 ONNX 运行时中以 CPU 运行,慢于实时。当你需要英语以外的语言时选它。Resemble AI 已不再维护它。

运行方式

本包只包含数据:它指定模型文件。在你接受许可证后,应用会从 Hugging Face 下载这些文件,逐个用 sha256 校验,并通过 Local speech(aigd.llamacpp,llama.cpp)在你的电脑上运行。

下载

  • Chatterbox Turbo 350M(英语)(aigd.tts-chatterbox-turbo.q8-0):1.04 GB,来自 ggml-org/chatterbox-turbo-GGUF 的 2 个文件,固定到该 commit:量化为 Q8_0 的语音 token 模型(chatterbox-turbo-Q8_0.gguf),以及包含音色编码器、flow 解码器和声码器的音频投影器(mmproj-chatterbox-turbo-F16.gguf)。

适用电脑

使用 CUDA 或 Vulkan 时,请选用显存至少 3 GiB 的 GPU。在 Windows 的 RTX 4090 上,一次较长的语音请求在 CUDA 上比基线多占用 2.9 GiB,在 Vulkan 上多占用 2.5 GiB。在 16 线程 x86 CPU 上,它占用 2.5 GB 内存,以约 1.2–1.7 倍于实时的速度运行。

音色克隆

提供一段 5 到 30 秒的干净语音作为参考片段;无需转录文本。没有片段时,模型会用自带音色说话。一次运行最多生成约 40 秒语音(1000 帧),因此文本限制为 500 个字符。

许可证

MIT。允许商业使用。分享模型文件时,请保留 Resemble AI 的版权声明和 MIT 声明。

  • Chatterbox Turbo 由 Resemble AI 开发:模型卡(MIT);许可证文本:LICENSE,“Copyright (c) 2025 Resemble AI”。
  • 两个文件均来自 ggml-org/chatterbox-turbo-GGUF(MIT):llama.cpp 对 commit 749d1c1a46eb10492095d68fbcf55691ccf137cd 上的 ResembleAI/chatterbox-turbo 所做的自动转换。

必需的署名:"Chatterbox Turbo, Copyright (c) 2025 Resemble AI, MIT licence."

限制:

  • 如果你分享模型文件,请保留声明 "Copyright (c) 2025 Resemble AI" 和 MIT 许可证文本。
  • Resemble AI 自己的 Python 包会为每个输出加上听不见的 PerTh 水印。llama.cpp 不会,因此在这里生成的语音不带水印。
  • 只克隆你有权使用的音色;模型卡要求不得将其用于造成伤害。

你有责任遵守所下载模型的许可证。所有文件均从 Hugging Face 下载。AI Game Dev 不托管这些文件。

版本

Chatterbox Turbo(语音模型) 的发布版本
版本发布时间需要应用
1.0.3最新0.32.0-beta.6 或更高版本
1.0.20.32.0-beta.6 或更高版本

安装

在桌面应用中安装

打开包窗口(状态栏中的包图标),选择浏览,搜索 aigd.tts-chatterbox-turbo,然后点击添加到项目。

还没安装应用?免费下载 AI Game Dev,支持 Windows、macOS 和 Linux。

从终端安装

在项目文件夹中使用 gamedev CLI:

gamedev pkg add aigd.tts-chatterbox-turbo

环境要求

  • AI Game Dev 0.32.0-beta.6 或更高版本

进一步了解包

安装
gamedev pkg add aigd.tts-chatterbox-turbo