Benchmark de TTS emocional: Qwen3-TTS, CosyVoice, IndexTTS-2, Fish Audio y VoxCPM para japonés y chino

Modelos y referencias:

• Qwen3-TTS CustomVoice 1.7B
• CosyVoice 300M Instruct / CosyVoice2
• Fish Audio S1-mini
• VoxCPM2
• IndexTTS-2

Resumen

Evaluamos cinco sistemas de TTS emocional para japonés y chino con seis emociones objetivo: neutral, happy, sad, angry, fear y disgust. Las frases son neutras para que la emoción tenga que venir del estilo de habla.

El candidato más equilibrado es Qwen3-TTS CustomVoice 1.7B: CER bajo, mejor anchor hit rate, buena naturalidad y el compromiso más práctico para japonés/chino.

CosyVoice 300M Instruct lidera en naturalidad, pero el control emocional es débil. IndexTTS-2 parece fuerte en el pooled SenseVoice score, pero su CER japonés es demasiado alto. El chino es más fácil que el japonés, y fear y disgust siguen sin resolverse.

Motivación

El TTS emocional no consiste solo en sonar natural. El modelo debe decir la frase correcta, ser agradable de escuchar y expresar la emoción solicitada. Por eso esta evaluación combina reconocimiento emocional, anchors, CER, naturalidad, runtime y ejemplos de audio.

• La frase prevista en japonés o chino debe mantenerse correcta.
• El habla debe sonar lo bastante natural para una escucha real.
• La voz generada debe expresar la emoción solicitada, sin caer en habla neutra o en una emoción cercana.

Metodología de evaluación

El benchmark usa una grilla balanceada por idioma, emoción y prompt. La misma frase se reutiliza en seis emociones para obligar al modelo a expresar emoción con prosodia y estilo vocal.

Conjunto de prompts

Ejemplos de prompts en japonés:

Ejemplos de prompts en chino:

Control de emoción

Métricas

• Precisión emocional SenseVoice: métrica principal de filtrado automático.
• Anchor hit y margin de emotion2vec: diagnóstico secundario basado en centroides de anchors de habla emocional.
• CER: tasa de error de caracteres entre la transcripción y el prompt original.
• NISQA-TTS y UTMOS: métricas de diagnóstico de naturalidad y calidad de la voz sintetizada.
• RTF: real-time factor para medir la velocidad de síntesis.

Resultados

Uso de recursos

Las métricas de recursos provienen de 600 generaciones exitosas. GPU, VRAM, wall time y RTF están presentes en todas las filas completadas; CPU no siempre se captura en adapters server-backed.

CosyVoice es el más rápido y usa menos VRAM, pero no es el mejor candidato de control emocional. Qwen3-TTS usa más VRAM que CosyVoice, pero es mucho más rápido que IndexTTS-2 y VoxCPM2 y mantiene mejor equilibrio.

Resumen de métricas JA/ZH

Esta tabla separa japonés y chino en tres controles centrales: precisión SenseVoice, CER y alineación de anchors emotion2vec.

El chino suele ser más fácil para las métricas emocionales automáticas, pero CER y precisión emocional no siempre se mueven juntos. Qwen3-TTS mantiene CER bajo en ambos idiomas; IndexTTS-2 tiene el mejor SenseVoice japonés y también el peor CER japonés.

Fidelidad textual (CER)

En fidelidad textual, Qwen3-TTS es el resultado más estable: CER japonés 8,6% y CER chino 9,7%. IndexTTS-2 es el caso de advertencia, con CER japonés de 91,0%.

Precisión emocional

SenseVoice

En este setup automático, el chino es claramente más fácil que el japonés. Para Qwen3-TTS, la precisión SenseVoice china es 53,3% y la japonesa 15,0%, aunque CER es bajo en ambos idiomas.

fear y disgust son las etiquetas más difíciles. Su recall SenseVoice es 0,0% en todos los pares modelo/idioma, y suelen caer en sad, neutral, angry o unknown.

Las filas son emociones objetivo y las columnas son predicciones SenseVoice. Las cajas verdes marcan la diagonal ideal.

emotion2vec anchors

La métrica anchor cuenta una historia similar: los anchors chinos son más favorables que los japoneses. Una margen positiva significa que el audio está más cerca del centroide de la emoción objetivo. Qwen3-TTS tiene margen positiva en chino; todas las márgenes japonesas son negativas.

Naturalidad

Naturalidad y corrección emocional son preguntas diferentes. CosyVoice gana en naturalidad, pero no en control emocional. Qwen3-TTS queda algo detrás en NISQA-TTS, pero equilibra mejor emoción, texto y velocidad.

Ejemplos de audio

La tabla usa el mismo prompt index para muestras happy y angry en japonés y chino. Estos clips no son una prueba humana, sino anchors cualitativos para interpretar las métricas.

Limitaciones

• Las etiquetas emocionales automáticas no son juicio humano. SenseVoice es útil porque soporta japonés y chino, pero puede tener bias de clasificador y desequilibrio por idioma.
• Las métricas anchor dependen de los datasets anchor. Los anchors japoneses vienen de JVNV y los chinos de CSEMOTIONS; faltaban ja/neutral y zh/disgust en esta corrida.
• IndexTTS-2 japonés es diagnóstico. El pooled score parece fuerte, pero el CER japonés es demasiado alto en este setup.

Investigación futura

• Ejecutar un MOS/CMOS pequeño con hablantes nativos para Qwen3-TTS y CosyVoice.
• Tratar IndexTTS-2 como candidato chino por ahora, o repetir tras arreglar el tokenizer/text path japonés.
• Agregar o curar anchors faltantes ja/neutral y zh/disgust.
• Hacer una revisión humana en chino para sad, angry, fear y disgust.
• Mantener SenseVoice como filtro automático, pero decidir producción con pruebas humanas de escucha.

Conclusión

Para TTS emocional en japonés y chino, Qwen3-TTS CustomVoice 1.7B es el modelo más equilibrado de este benchmark. No resuelve todas las emociones, pero ofrece la combinación más práctica de reconocimiento emocional, CER bajo, anchor hit rate, naturalidad y runtime.