Benchmark TTS émotionnel : Qwen3-TTS, CosyVoice, IndexTTS-2, Fish Audio et VoxCPM pour le japonais et le chinois

Modèles et références:

• Qwen3-TTS CustomVoice 1.7B
• CosyVoice 300M Instruct / CosyVoice2
• Fish Audio S1-mini
• VoxCPM2
• IndexTTS-2

Résumé

Nous avons benchmarké cinq systèmes TTS émotionnels pour le japonais et le chinois sur six émotions cibles : neutral, happy, sad, angry, fear et disgust. Les phrases sont neutres afin que l’émotion vienne du style vocal plutôt que du contenu textuel.

Le candidat le plus équilibré est Qwen3-TTS CustomVoice 1.7B : CER faible, meilleur anchor hit rate, bon naturel et meilleur compromis pratique sur japonais/chinois.

CosyVoice 300M Instruct mène sur le naturel, mais le contrôle émotionnel reste faible. IndexTTS-2 a un score SenseVoice agrégé séduisant, mais son CER japonais est trop élevé. Le chinois est plus facile que le japonais, et fear ainsi que disgust restent non résolus.

Motivation

Le TTS émotionnel ne consiste pas seulement à produire une voix naturelle. Un modèle doit dire la bonne phrase, rester agréable à écouter et exprimer l’émotion demandée. Ce benchmark combine donc reconnaissance émotionnelle, anchors émotionnels, CER, naturel, runtime et exemples audio.

• La phrase japonaise ou chinoise visée doit rester correcte.
• La parole doit sembler assez naturelle pour une écoute réelle.
• La voix générée doit exprimer l’émotion demandée, sans retomber vers une voix neutre ou une émotion voisine.

Méthodologie d’évaluation

Le benchmark utilise une grille équilibrée par langue, émotion et phrase. La même phrase est réutilisée pour les six émotions, ce qui force le modèle à exprimer l’émotion par la prosodie et le style vocal.

Jeu de prompts

Exemples de prompts japonais :

Exemples de prompts chinois :

Contrôles émotionnels

Métriques

• Précision émotionnelle SenseVoice : métrique principale de filtrage automatique.
• Anchor hit et margin emotion2vec : diagnostic secondaire basé sur des centroïdes d’anchors de parole émotionnelle.
• CER : taux d’erreur de caractères entre la transcription et le prompt d’origine.
• NISQA-TTS et UTMOS : métriques de diagnostic du naturel et de la qualité de la voix synthétisée.
• RTF : real-time factor pour mesurer la vitesse de synthèse.

Résultats

Utilisation des ressources

Les métriques de ressources proviennent de 600 générations réussies. GPU, VRAM, wall time et RTF sont disponibles pour toutes les lignes terminées; le CPU n’est pas toujours capturé pour les adapters côté serveur.

CosyVoice est le plus rapide et le moins gourmand en VRAM, mais ce n’est pas le meilleur candidat pour le contrôle émotionnel. Qwen3-TTS demande plus de VRAM que CosyVoice, mais il est bien plus rapide qu’IndexTTS-2 et VoxCPM2 tout en offrant le meilleur équilibre.

Vue d’ensemble des métriques JA/ZH

Ce tableau sépare japonais et chinois pour trois contrôles centraux : précision émotionnelle SenseVoice, CER et alignement des anchors emotion2vec.

Le chinois est généralement plus facile pour les métriques émotionnelles automatiques, mais CER et précision émotionnelle ne bougent pas toujours ensemble. Qwen3-TTS garde un CER faible dans les deux langues; IndexTTS-2 a le meilleur score SenseVoice japonais mais aussi le pire CER japonais.

Fidélité textuelle (CER)

Pour la fidélité textuelle, Qwen3-TTS est le plus stable : CER japonais 8,6 % et CER chinois 9,7 %. IndexTTS-2 est le cas d’alerte, avec un CER japonais de 91,0 %.

Précision émotionnelle

SenseVoice

Dans ce protocole automatique, le chinois est nettement plus facile que le japonais. Pour Qwen3-TTS, la précision SenseVoice chinoise est de 53,3 % contre 15,0 % en japonais, malgré un CER faible dans les deux langues.

fear et disgust sont les labels les plus difficiles. Leur recall SenseVoice est de 0,0 % pour toutes les paires modèle/langue et se replie souvent vers sad, neutral, angry ou unknown.

Les lignes sont les émotions cibles et les colonnes les prédictions SenseVoice. Les cases vertes marquent la diagonale idéale.

emotion2vec anchors

La métrique anchor raconte une histoire similaire : les anchors chinois sont plus favorables que les anchors japonais. Une marge positive signifie que l’audio est plus proche du centroid cible. Qwen3-TTS a une marge positive en chinois, mais toutes les marges japonaises sont négatives.

Naturel

Le naturel et la correction émotionnelle sont deux questions différentes. CosyVoice gagne le naturel, mais pas le contrôle émotionnel. Qwen3-TTS est légèrement derrière sur NISQA-TTS, mais son compromis émotion/texte/vitesse est meilleur.

Exemples audio

Le tableau ci-dessous utilise le même prompt index pour happy et angry en japonais et en chinois. Ces extraits ne sont pas un test d’écoute humain, mais des points d’ancrage qualitatifs pour lire les métriques.

Limites

• Les labels émotionnels automatiques ne sont pas un jugement humain. SenseVoice est utile car il prend en charge japonais et chinois, mais il peut avoir des biais de classifieur et des déséquilibres linguistiques.
• Les métriques anchor dépendent des datasets d’anchors. Les anchors japonais viennent de JVNV et les chinois de CSEMOTIONS; ja/neutral et zh/disgust manquaient dans cette exécution.
• IndexTTS-2 en japonais est diagnostique. Le score agrégé paraît fort, mais le CER japonais est trop élevé dans ce setup.

Travaux futurs

• Lancer un petit test MOS/CMOS avec locuteurs natifs pour Qwen3-TTS et CosyVoice.
• Traiter IndexTTS-2 comme une piste chinoise pour l’instant, ou relancer après correction du tokenizer/text path japonais.
• Ajouter ou curer les anchors manquants ja/neutral et zh/disgust.
• Réaliser un contrôle humain ciblé en chinois pour sad, angry, fear et disgust.
• Garder SenseVoice comme filtre automatique, mais décider la production avec des tests d’écoute humains.

Conclusion

Pour le TTS émotionnel japonais et chinois, Qwen3-TTS CustomVoice 1.7B est le modèle le plus équilibré de ce benchmark. Il ne résout pas toutes les émotions, mais combine le mieux reconnaissance émotionnelle, faible CER, anchor hit rate, naturel et runtime.