Benchmark TTS Emosional: Qwen3-TTS, CosyVoice, IndexTTS-2, Fish Audio, dan VoxCPM untuk Bahasa Jepang dan Tionghoa

Model dan referensi:

• Qwen3-TTS CustomVoice 1.7B
• CosyVoice 300M Instruct / CosyVoice2
• Fish Audio S1-mini
• VoxCPM2
• IndexTTS-2

Abstrak

Kami membenchmark lima sistem TTS emosional untuk bahasa Jepang dan Tionghoa dengan enam emosi target: neutral, happy, sad, angry, fear, dan disgust. Prompt dibuat netral agar emosi harus muncul dari gaya bicara.

Kandidat paling seimbang adalah Qwen3-TTS CustomVoice 1.7B. Model ini memiliki CER rendah, anchor hit rate terbaik, naturalness kuat, dan trade-off paling praktis untuk Jepang/Tionghoa.

CosyVoice 300M Instruct memimpin naturalness, tetapi kontrol emosinya lemah. IndexTTS-2 terlihat kuat pada pooled SenseVoice score, tetapi CER bahasa Jepang terlalu tinggi untuk dianggap andal. Bahasa Tionghoa lebih mudah daripada Jepang, sementara fear dan disgust masih belum terselesaikan.

Motivasi

TTS emosional bukan hanya soal suara yang terdengar natural. Model harus mengucapkan kalimat yang benar, tetap enak didengar, dan mengekspresikan emosi yang diminta. Karena itu evaluasi ini menggabungkan recognition emosi, anchor emosi, CER, naturalness, runtime, dan contoh audio.

• Kalimat bahasa Jepang atau Tionghoa yang dimaksud harus tetap benar.
• Suara harus terdengar cukup natural untuk didengarkan secara nyata.
• Suara yang dihasilkan harus mengekspresikan emosi yang diminta, bukan jatuh ke suara netral atau emosi yang mirip.

Metodologi evaluasi

Benchmark memakai grid generasi yang seimbang menurut bahasa, emosi, dan prompt. Kalimat yang sama dipakai untuk enam emosi sehingga model harus mengandalkan prosodi dan gaya suara, bukan kata-kata emosional.

Set prompt

Contoh prompt bahasa Jepang:

Contoh prompt bahasa Tionghoa:

Kontrol emosi

Metrik

• Akurasi emosi SenseVoice: metrik utama untuk penyaringan otomatis.
• Anchor hit dan margin emotion2vec: metrik diagnostik tambahan berbasis centroid anchor ucapan emosional.
• CER: tingkat kesalahan karakter dari transkripsi dibandingkan prompt asli.
• NISQA-TTS dan UTMOS: metrik diagnostik untuk naturalness dan kualitas suara sintetis.
• RTF: real-time factor untuk mengukur kecepatan sintesis.

Hasil

Penggunaan sumber daya

Metrik sumber daya berasal dari 600 baris generasi yang berhasil. GPU, VRAM, wall time, dan RTF terisi untuk semua baris selesai; CPU tidak selalu tertangkap untuk adapter berbasis server.

CosyVoice paling cepat dan memakai VRAM paling rendah, tetapi bukan kandidat kontrol emosi terkuat. Qwen3-TTS memakai VRAM lebih besar daripada CosyVoice, namun jauh lebih cepat daripada IndexTTS-2 dan VoxCPM2 serta memiliki keseimbangan terbaik antara emosi dan fidelitas teks.

Ikhtisar metrik JA/ZH

Tabel split ini membandingkan Jepang dan Tionghoa untuk tiga pemeriksaan inti: akurasi emosi SenseVoice, CER, dan alignment anchor emotion2vec.

Bahasa Tionghoa umumnya lebih mudah untuk metrik emosi otomatis, tetapi CER dan akurasi emosi tidak selalu bergerak bersama. Qwen3-TTS menjaga CER rendah di dua bahasa; IndexTTS-2 memiliki skor SenseVoice Jepang tertinggi tetapi CER Jepang terburuk.

Fidelitas teks (CER)

Untuk fidelitas teks, Qwen3-TTS paling stabil: CER Jepang 8.6% dan CER Tionghoa 9.7%. IndexTTS-2 menjadi kasus peringatan karena CER Jepang mencapai 91.0%.

Akurasi emosi

SenseVoice

Dalam setup otomatis ini, bahasa Tionghoa jelas lebih mudah daripada Jepang. Pada Qwen3-TTS, akurasi SenseVoice Tionghoa 53.3% sementara Jepang 15.0%, meski CER rendah di kedua bahasa. Artinya masalahnya bukan hanya intelligibility, tetapi juga sinyal emosi Jepang yang lebih lemah atau kurang selaras dengan SenseVoice.

fear dan disgust adalah label tersulit. SenseVoice recall untuk keduanya 0.0% di semua pasangan model/bahasa, sering jatuh ke sad, neutral, angry, atau unknown.

Baris adalah emosi target dan kolom adalah prediksi SenseVoice. Kotak hijau menunjukkan diagonal ideal.

emotion2vec anchors

Metrik anchor memberi cerita serupa dengan SenseVoice: anchor Tionghoa lebih menguntungkan daripada Jepang. Margin positif berarti audio lebih dekat ke centroid emosi target. Qwen3-TTS memiliki margin Tionghoa positif, sementara semua margin Jepang negatif.

Naturalness

Naturalness dan kebenaran emosi adalah pertanyaan berbeda. CosyVoice menang naturalness, tetapi bukan pemenang kontrol emosi. Qwen3-TTS sedikit lebih rendah di NISQA-TTS, namun trade-off emosi, teks, dan kecepatan lebih baik.

Contoh audio

Tabel di bawah memakai prompt index yang sama untuk sampel happy dan angry dalam Jepang dan Tionghoa. Klip ini bukan human listening test, melainkan anchor kualitatif untuk membaca metrik otomatis.

Batasan

• Label emosi otomatis bukan penilaian manusia. SenseVoice berguna karena mendukung Jepang dan Tionghoa, tetapi tetap bisa memiliki bias classifier dan ketimpangan bahasa.
• Metrik anchor bergantung pada dataset anchor. Anchor Jepang berasal dari JVNV dan Tionghoa dari CSEMOTIONS; run ini tidak memiliki ja/neutral dan zh/disgust.
• IndexTTS-2 Jepang bersifat diagnostik. Pooled score terlihat kuat, tetapi CER Jepang terlalu tinggi dalam setup ini.

Riset lanjutan

• Jalankan MOS/CMOS kecil dengan penutur asli untuk Qwen3-TTS dan CosyVoice.
• Perlakukan IndexTTS-2 sebagai kandidat Tionghoa untuk sementara, atau rerun setelah memperbaiki Japanese tokenizer/text path.
• Tambahkan atau kurasi anchor ja/neutral dan zh/disgust yang hilang.
• Lakukan human check Tionghoa untuk sad, angry, fear, dan disgust.
• Gunakan SenseVoice sebagai screening otomatis, tetapi keputusan produksi tetap melalui human listening tests.

Kesimpulan

Untuk TTS emosional Jepang dan Tionghoa, Qwen3-TTS CustomVoice 1.7B adalah model paling seimbang dalam benchmark ini. Model ini belum menyelesaikan semua emosi, tetapi memberi kombinasi paling praktis antara emotion recognition, CER rendah, anchor hit rate, naturalness, dan runtime.