Benchmark de TTS emocional: Qwen3-TTS, CosyVoice, IndexTTS-2, Fish Audio e VoxCPM para japonês e chinês

Modelos e referências:

• Qwen3-TTS CustomVoice 1.7B
• CosyVoice 300M Instruct / CosyVoice2
• Fish Audio S1-mini
• VoxCPM2
• IndexTTS-2

Resumo

Benchmarkamos cinco sistemas de TTS emocional para japonês e chinês em seis emoções alvo: neutral, happy, sad, angry, fear e disgust. As frases são neutras para que a emoção venha do estilo de fala.

O candidato mais equilibrado é o Qwen3-TTS CustomVoice 1.7B: CER baixo, melhor anchor hit rate, boa naturalidade e o compromisso mais prático em japonês/chinês.

CosyVoice 300M Instruct lidera em naturalidade, mas o controle emocional é fraco. IndexTTS-2 parece forte no pooled SenseVoice score, mas o CER japonês é alto demais. Chinês é mais fácil que japonês, e fear e disgust seguem sem solução.

Motivação

TTS emocional não é apenas produzir uma voz natural. O modelo precisa dizer a frase correta, soar bem e expressar a emoção pedida. Por isso esta avaliação combina reconhecimento de emoção, anchors emocionais, CER, naturalidade, runtime e exemplos de áudio.

• A frase pretendida em japonês ou chinês deve permanecer correta.
• A fala deve soar natural o suficiente para escuta real.
• A voz gerada deve expressar a emoção solicitada, sem cair em fala neutra ou em uma emoção próxima.

Metodologia de avaliação

O benchmark usa uma grade equilibrada por idioma, emoção e texto. A mesma frase é reutilizada nas seis emoções para forçar o modelo a expressar emoção por prosódia e estilo vocal.

Conjunto de prompts

Exemplos de prompts em japonês:

Exemplos de prompts em chinês:

Controle de emoção

Métricas

• Precisão emocional SenseVoice: métrica principal de triagem automática.
• Anchor hit e margin do emotion2vec: diagnóstico secundário baseado em centroides de anchors de fala emocional.
• CER: taxa de erro de caracteres entre a transcrição e o prompt original.
• NISQA-TTS e UTMOS: métricas de diagnóstico de naturalidade e qualidade da voz sintetizada.
• RTF: real-time factor para medir a velocidade de síntese.

Resultados

Uso de recursos

As métricas de recursos vêm de 600 gerações bem-sucedidas. GPU, VRAM, wall time e RTF estão preenchidos em todas as linhas concluídas; CPU nem sempre é capturado para adapters server-backed.

CosyVoice é o mais rápido e usa menos VRAM, mas não é o melhor candidato para controle emocional. Qwen3-TTS usa mais VRAM que CosyVoice, porém é muito mais rápido que IndexTTS-2 e VoxCPM2 e mantém melhor equilíbrio.

Visão geral das métricas JA/ZH

Esta tabela separa japonês e chinês em três verificações principais: precisão SenseVoice, CER e alinhamento de anchors emotion2vec.

Chinês é geralmente mais fácil nas métricas emocionais automáticas, mas CER e precisão emocional nem sempre andam juntos. Qwen3-TTS mantém CER baixo nos dois idiomas; IndexTTS-2 tem o maior SenseVoice japonês e também o pior CER japonês.

Fidelidade textual (CER)

Em fidelidade textual, Qwen3-TTS é o resultado mais estável: CER japonês 8,6% e CER chinês 9,7%. IndexTTS-2 é o alerta, com CER japonês de 91,0%.

Precisão emocional

SenseVoice

Neste setup automático, chinês é claramente mais fácil que japonês. Para Qwen3-TTS, a precisão SenseVoice em chinês é 53,3% e em japonês 15,0%, mesmo com CER baixo nos dois idiomas.

fear e disgust são os rótulos mais difíceis. O recall SenseVoice é 0,0% para ambos em todos os pares modelo/idioma, frequentemente caindo para sad, neutral, angry ou unknown.

As linhas são emoções alvo e as colunas são previsões SenseVoice. As caixas verdes marcam a diagonal ideal.

emotion2vec anchors

A métrica de anchors conta história parecida: anchors chineses são mais favoráveis que japoneses. Margem positiva significa que o áudio está mais perto do centroide da emoção alvo. Qwen3-TTS tem margem positiva em chinês, enquanto todas as margens japonesas são negativas.

Naturalidade

Naturalidade e correção emocional são perguntas diferentes. CosyVoice vence em naturalidade, mas não em controle emocional. Qwen3-TTS fica um pouco atrás em NISQA-TTS, porém equilibra melhor emoção, texto e velocidade.

Exemplos de áudio

A tabela abaixo usa o mesmo prompt index para amostras happy e angry em japonês e chinês. Estes clipes não são teste humano, mas anchors qualitativos para interpretar as métricas.

Limitações

• Rótulos emocionais automáticos não são julgamento humano. SenseVoice é útil por suportar japonês e chinês, mas pode ter bias de classificador e desequilíbrio por idioma.
• Métricas anchor dependem dos datasets anchor. Anchors japoneses vêm do JVNV e chineses do CSEMOTIONS; ja/neutral e zh/disgust estavam ausentes neste run.
• IndexTTS-2 em japonês é diagnóstico. O pooled score parece forte, mas o CER japonês é alto demais neste setup.

Pesquisa futura

• Rodar um MOS/CMOS pequeno com falantes nativos para Qwen3-TTS e CosyVoice.
• Tratar IndexTTS-2 como candidato chinês por enquanto, ou rodar novamente após corrigir o tokenizer/text path japonês.
• Adicionar ou curar anchors ausentes ja/neutral e zh/disgust.
• Fazer checagem humana em chinês para sad, angry, fear e disgust.
• Manter SenseVoice como triagem automática, mas tomar decisões de produção com testes humanos de escuta.

Conclusão

Para TTS emocional em japonês e chinês, Qwen3-TTS CustomVoice 1.7B é o modelo mais equilibrado deste benchmark. Ele não resolve todas as emoções, mas oferece o mix mais prático de reconhecimento emocional, CER baixo, anchor hit rate, naturalidade e runtime.