Chatterbox Multilingual V3 (음성 모델)
gamedev pkg add aigd.tts-chatterbox-multilingual-v3개요
Resemble AI의 20개 언어 로컬 텍스트 음성 변환입니다. 3–60 s 클립에서 전사 없이 음성을 복제하거나 내장 음성으로 말하며, 감정을 위한 Exaggeration 제어가 있습니다. 현지화된 게임 대사와 보이스오버에 적합합니다. 앱의 ONNX 런타임에서 CPU로 실행되며 실시간보다 느립니다. MIT. Resemble AI는 더 이상 유지 관리하지 않습니다.
Chatterbox Multilingual V3는 20개 언어를 지원하는 Resemble AI의 0.5B 제로샷 음성 복제 텍스트 음성 변환 모델, 버전 3(2026-06-10 출시)입니다. 3–60 s 길이의 음성 참조 클립을 주면 해당 음성으로 텍스트를 말하며, 클립이 없으면 내장 음성을 사용합니다. AI Game Dev에서는 앱에 번들된 ONNX 런타임(onnx-tts@1)에서 CPU로 실행되며, 그 외에 설치할 것은 없습니다. 여러 언어에서 동일한 캐릭터 음성이 필요하고 실시간보다 느린 생성을 기다릴 수 있는 게임에 적합합니다.
만들 수 있는 것
- 현지화된 대사와 보이스오버: 복제한 캐릭터 음성 하나로 아랍어, 독일어, 스페인어, 프랑스어, 힌디어, 한국어, 러시아어, 터키어 등으로 말합니다.
- Exaggeration 제어로 같은 대사를 더 감정적으로 또는 덜 감정적으로 전달합니다.
- 참조 클립이 없을 때 내장 음성으로 내레이션과 안내 방송을 만듭니다.
요청 예시
- "
Audio/ref/hero.wav의 음성을 복제하고 'We leave at dawn'을 영어, 독일어, 스페인어로 말해 주세요." - "이 한국어 튜토리얼 문장을 내장 음성으로 읽어 주세요."
- "화난 경비병 대사를 프랑스어로 Exaggeration 1.2로 더빙해 주세요."
주요 특징
| 모델 ID | aigd.tts-chatterbox-multilingual-v3.q4 |
| 언어 | ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr |
| 음성 | 내장 음성 또는 3–60 s 클립의 복제본(전사 불필요, 처음 6 s 사용) |
| Exaggeration | 0.25–2, 기본값 0.5 |
| 출력 | 24 kHz, 모노 |
| 요청당 텍스트 | 최대 3,000자 |
| 실행 환경 | CPU(4-bit 언어 모델), 테스트 기준 최대 메모리 약 2.2 GB |
| 다운로드 | 약 1.55 GB |
| 라이선스 | MIT, 상업적 사용 허용, 출력물에 워터마크 없음 |
Multilingual V3 또는 Turbo
- Chatterbox Multilingual V3(이 패키지): 20개 언어와 Exaggeration, CPU 전용, 실시간보다 느립니다. 다국어 게임용으로 선택하세요.
- Chatterbox Turbo: 영어 전용,
[laugh]및[cough]같은 사운드 태그 지원, GPU 또는 llama.cpp를 통한 CPU 실행, CPU에서 실시간보다 빠름. 영어 게임용으로 선택하세요.
실행 방식
모델은 앱에 번들된 ONNX 런타임(onnx-tts@1)에서 4-bit 언어 모델로 CPU에서 실행되며, 그 외에 설치할 것은 없습니다. 3–60 s 참조 클립에는 전사가 필요 없고, 모델은 클립의 처음 6 s를 사용합니다. Exaggeration(0.25–2, 기본값 0.5)은 음성의 감정 정도를 설정하며, 값이 높을수록 말 속도도 빨라집니다.
언어
ar, da, de, el, en, es, fi, fr, hi, it, ko, ms, nl, no, pl, pt, ru, sv, sw, tr. V3는 중국어, 일본어, 히브리어도 명시하지만 제공되지는 않습니다. 이 ONNX 빌드에는 중국어(Cangjie)와 일본어(kana) 텍스트 프런트 엔드가 없어 해당 텍스트는 대부분 알 수 없는 토큰이 되며, 히브리어는 업스트림처럼 분음 부호 없이 입력되어 그리디 디코딩에서 대부분 이해할 수 없게 나옵니다. 러시아어는 작동하지만 업스트림의 강세 표시 프런트 엔드가 없어 일부 단어의 강세가 틀릴 수 있습니다.
속도 및 알려진 제한
32코어 x86-64 CPU에서 측정했습니다(DEV-167 스모크 테스트): 영어 음성 4.0 s 분량을 13.8 s에, 독일어 2.7 s 분량을 11.8 s에 생성했으며 최대 메모리는 약 2.2 GB였습니다. 텍스트는 ONNX 참조 구현처럼 그리디 디코딩으로 문장별(구간당 최대 200자)로 발화됩니다. 업스트림의 샘플링과 classifier-free guidance는 이 내보내기에 포함되지 않습니다. 업스트림의 정렬 분석기가 없어 그리디 디코더가 텍스트 이후에 멈추지 않는 경우가 있으며(Exaggeration 0.8에서 확인됨), 따라서 각 구간은 해당 텍스트의 느린 발화 길이에 1.5 s를 더한 길이로 제한됩니다. 그 한도까지 끝에 웅얼거리는 소리가 남을 수 있습니다.
유지 관리
2026년 8월 현재 Resemble AI는 Chatterbox를 연구 프로젝트로서 종료했으며 더 이상 유지 관리하지 않습니다. Resemble은 V3를 PyTorch 가중치로만 공개합니다. 여기의 ONNX 그래프는 독립적인 변환(Masterx/chatterbox-multilingual-v3-ONNX)이며 Resemble AI와 제휴 관계가 없습니다. onnx-community 내보내기(onnx-community/chatterbox-multilingual-ONNX)는 버전 2(2025)이며 V3가 아닙니다.
라이선스
MIT. 상업적 사용이 허용됩니다.
- Chatterbox(T3 언어 모델
t3_mtl23ls_v3, S3Gen 디코더, 음성 인코더) © 2025 Resemble AI — MIT 라이선스, 모델 카드(license: mit). - ONNX 변환 및 이 패키지의 모든 파일(
onnx/speech_encoder*,onnx/embed_tokens*,onnx/language_model_q4*,onnx/conditional_decoder*,tokenizer.json,default_voice.wav)은 리비전19b94afe41de738624b2f3afc75b4cd56221fbeb의Masterx/chatterbox-multilingual-v3-ONNX에서 가져왔습니다 — LICENSE(MIT, Resemble AI 소유) 및 NOTICE.md.default_voice.wav은 onnx-community의 참조 클립으로, 해당 변환에서 가져온 것입니다. - 앱의 텍스트 정리(
punc_norm)는 Resemble AI의 코드(MIT, © 2025 Resemble AI)를 포팅한 것이며, 관련 고지는 앱의THIRD_PARTY_NOTICES.md에 있습니다.
가중치를 재배포할 때 필요한 저작자 표시: MIT 고지 "Copyright (c) 2025 Resemble AI"와 라이선스 텍스트를 유지하세요. 생성한 음성에는 저작자 표시가 필요하지 않습니다.
제한 사항을 분명히 하면 다음과 같습니다.
- 워터마크: Resemble AI 자체의 Python 패키지는 모든 출력에 지각할 수 없는 Perth 워터마크를 삽입합니다. 이 ONNX 그래프에는 워터마커가 포함되어 있지 않으므로 여기에서 만든 오디오에는 워터마크가 없습니다. ONNX 변환기의 README는 이를 배포하는 모든 사람에게 생성된 오디오에 계속 워터마크를 적용하고(예: 출력에 Perth 실행) 책임감 있게 사용할 것을 요청합니다. Resemble 자체 모델 카드에는 "이 모델로 나쁜 일을 하는 데 사용하지 마세요"라고만 적혀 있습니다.
- 복제 동의: 사용 권리가 있는 음성만 복제하세요. MIT 라이선스 자체는 모델 사용에 제한을 두지 않지만, 사람을 사칭하는 행위는 귀하가 있는 지역에서 여전히 불법일 수 있습니다.
- 지역 제한 없음, 매출 상한 없음.
- 유지 관리 없음: Resemble AI는 2026년 8월에 이 모델을 은퇴시켰습니다.
모든 파일은 Hugging Face에서 다운로드합니다. AI Game Dev는 파일을 호스팅하지 않습니다.
버전
| 버전 | 출시일 | 앱 필요 |
|---|---|---|
| 1.0.2최신 | 0.32.0-beta.6 이상 | |
| 1.0.1 | 0.32.0-beta.6 이상 |
설치
데스크톱 앱에서
Packages 창을 열고(상태 표시줄의 패키지 아이콘) Browse를 선택한 다음 aigd.tts-chatterbox-multilingual-v3를 검색하고 Add to Project를 클릭합니다.
앱이 아직 없나요? Windows, macOS, Linux용 AI Game Dev 무료 다운로드를 받아보세요.
터미널에서
gamedev CLI를 사용해 프로젝트 폴더에서 실행합니다:
gamedev pkg add aigd.tts-chatterbox-multilingual-v3요구 사항
- AI Game Dev 0.32.0-beta.6 이상
gamedev pkg add aigd.tts-chatterbox-multilingual-v3