Chatterbox-Turbo-VI

Bản fine-tune tiếng Việt của Chatterbox-Turbo (Resemble AI) — mô hình text-to-speech 350M tham số, hỗ trợ voice cloning zero-shot từ một đoạn audio tham chiếu ngắn.

Mô hình

• Base model: ResembleAI/chatterbox-turbo
• Ngôn ngữ: Tiếng Việt (giữ khả năng tiếng Anh của model gốc)
• Kiến trúc: T3 (speech-token LM) + S3Gen MeanFlow (decoder 1 bước) + Voice Encoder, giữ nguyên như Turbo gốc
• Checkpoint fine-tune: checkpoint_step_3500_misa.pt (step 3500)

Các file chính

File	Mô tả
t3_merged.safetensors	Trọng số T3 (text → speech token)
s3gen_meanflow.safetensors	Decoder speech token → mel/waveform (MeanFlow, 1 bước)
ve.safetensors	Voice encoder
conds.pt	Conditionals mặc định
checkpoint_step_3500_misa.pt	Checkpoint fine-tune tại step 3500
vocab.json, merges.txt, added_tokens.json, special_tokens_map.json, tokenizer_config.json	Tokenizer
t3_turbo_v1.yaml	Cấu hình

Cách dùng

Cài đặt thư viện:

pip install chatterbox-tts huggingface_hub

Tải model và sinh giọng nói:

import torchaudio as ta
from huggingface_hub import snapshot_download
from chatterbox.tts_turbo import ChatterboxTurboTTS

ckpt_dir = snapshot_download("quangdung/chatterbox-turbo-vi")
model = ChatterboxTurboTTS.from_local(ckpt_dir, device="cuda")

text = "Xin chào, đây là mô hình chuyển văn bản thành giọng nói tiếng Việt."

# Cần một đoạn audio tham chiếu (~10 giây) để clone giọng
wav = model.generate(text, audio_prompt_path="your_10s_ref_clip.wav")
ta.save("output.wav", wav, model.sr)

Lưu ý: nếu phiên bản chatterbox-tts của bạn không có from_local, hãy dùng API tải checkpoint cục bộ tương ứng của phiên bản đó. Có thể dùng thêm các paralinguistic tag của Turbo như [laugh], [chuckle], [cough].

Mẹo

• Dùng audio tham chiếu sạch, ~10 giây, cùng ngôn ngữ (tiếng Việt) để phát âm và giọng tự nhiên nhất.
• Chia văn bản dài thành từng câu/đoạn ngắn để ổn định hơn.

Hạn chế

• Đây là bản fine-tune chưa qua đánh giá chính thức; chất lượng (phát âm, dấu thanh, từ mượn, số, viết tắt) có thể chưa ổn định. Nên chuẩn hóa văn bản (đọc số, ngày tháng, viết tắt) trước khi đưa vào model.
• Chất lượng giọng phụ thuộc nhiều vào audio tham chiếu.

Sử dụng có trách nhiệm

Audio sinh ra bởi Chatterbox mang watermark Perth của Resemble AI. Không sử dụng model để giả mạo giọng nói người khác khi chưa có sự đồng ý, lừa đảo hoặc tạo nội dung gây hại.

Ghi nhận

• Chatterbox — Resemble AI (MIT)
• CosyVoice, HiFT-GAN, Llama 3, S3Tokenizer

Trích dẫn

@misc{chatterboxtts2025,
  author       = {{Resemble AI}},
  title        = {{Chatterbox-TTS}},
  year         = {2025},
  howpublished = {\url{https://github.com/resemble-ai/chatterbox}},
  note         = {GitHub repository}
}