情感 TTS 基準測試：Qwen3-TTS、CosyVoice、IndexTTS-2、Fish Audio 與 VoxCPM 在日語和中文上的表現

模型與參考資料:

• Qwen3-TTS CustomVoice 1.7B
• CosyVoice 300M Instruct / CosyVoice2
• Fish Audio S1-mini
• VoxCPM2
• IndexTTS-2

摘要

本研究評估五個情感 TTS 系統在日語與中文上的表現，目標情緒包括 neutral、happy、sad、angry、fear、disgust。所有提示語本身保持中性，因此情緒必須由語音風格表達，而不是靠文字內容暗示。

整體最均衡的候選模型是 Qwen3-TTS CustomVoice 1.7B。它在可信的日語/中文文字輸出前提下，擁有最低平均 CER、最佳 anchor hit rate、穩定自然度，以及最實用的情緒辨識表現。

CosyVoice 300M Instruct 的自然度最佳，但情緒辨識偏弱。IndexTTS-2 的 pooled SenseVoice 分數看起來不錯，但日語 CER 過高，不能視為可靠的日語 TTS 結果。整體而言，中文比日語容易，而 fear 和 disgust 仍未解決。

研究動機

情感 TTS 不只是讓聲音自然。實際產品需要模型同時說對句子、聽起來足夠自然，並表達指定情緒。因此本次評估同時觀察離散情緒辨識、連續情緒 anchor、轉寫正確性、自然度、速度與試聽樣本。

• 目標日語或中文句子必須保持正確。
• 語音自然度需足以實際聆聽。
• 生成語音應表達指定情緒，而不是退回中性語氣或相近情緒。

評估方法

基準測試採用語言、情緒和提示語均衡的生成網格。同一句話會套用到六種情緒上，讓模型不能依賴帶情緒的文字，而必須透過韻律和聲音風格表達情緒。

提示語集合

日語提示語範例：

中文提示語範例：

情緒控制

評估指標

• SenseVoice 情緒準確度：主要的自動篩選指標。
• emotion2vec anchor hit 與 margin：使用情緒語音 anchor 中心點進行的輔助診斷指標。
• CER：將轉寫結果與原始 prompt 文字比對後得到的字元錯誤率。
• NISQA-TTS 與 UTMOS：評估合成語音自然度與品質的診斷指標。
• RTF：衡量合成速度的 real-time factor。

結果

資源使用量

資源指標來自 600 個成功生成樣本。GPU、VRAM、wall time 和 RTF 在所有完成列中都有記錄；CPU 對於伺服器型 adapter 則不一定能從取樣程序中捕捉。

CosyVoice 是最快且 VRAM 最低的模型，但不是情緒控制最強的模型。Qwen3-TTS 的 VRAM 高於 CosyVoice，不過比 IndexTTS-2 和 VoxCPM2 快很多，且在情緒辨識與文字忠實度之間最平衡。

JA/ZH 指標總覽

下表以日語和中文拆分三個核心自動檢查：SenseVoice 情緒準確度、CER 文字忠實度，以及 emotion2vec anchor 對齊。

中文在自動情緒指標上通常更容易，但 CER 與情緒準確度並不總是同步。Qwen3-TTS 在兩種語言都保持低 CER；IndexTTS-2 的日語 SenseVoice 分數最高，但日語 CER 也最差。

文字忠實度（CER）

文字忠實度方面，Qwen3-TTS 是最穩定的 JA/ZH 結果：日語 CER 8.6%，中文 CER 9.7%。IndexTTS-2 是警訊案例，因為它的日語 CER 達到 91.0%。

情緒準確度

SenseVoice

在這個自動設定中，中文明顯比日語容易。Qwen3-TTS 的中文 SenseVoice 準確率為 53.3%，日語為 15.0%；但兩者 CER 都低，表示問題不只是可懂度，而是日語情緒線索較弱或與 SenseVoice 的判斷不一致。

fear 和 disgust 是最困難的標籤。所有模型/語言組合的 SenseVoice recall 都是 0.0%，常被歸到 sad、neutral、angry 或 unknown。

列是目標情緒，欄是 SenseVoice 預測。綠色框代表理想的對角線。

emotion2vec Anchor

Anchor 指標和 SenseVoice 顯示類似趨勢：中文 anchor 比日語更有利。正 margin 代表生成音訊比起其他情緒中心更接近目標情緒中心。Qwen3-TTS 在中文為正 margin，但所有日語 margin 都是負值。

自然度

自然度與情緒正確性是不同問題。CosyVoice 在自然度上最強，但不是情緒控制最強。Qwen3-TTS 的 NISQA-TTS 稍低於 CosyVoice，但在情緒、文字正確性與速度的整體取捨上更好。

試聽範例

下表使用相同 prompt index 挑選日語與中文的 happy、angry 範例。這些片段不是人類聽測，而是幫助解讀自動指標的質化 anchor。

限制

• 自動情緒標籤不等於人類判斷。 SenseVoice 支援日語與中文且容易映射到本基準標籤，但仍可能有分類器偏差與語言不平衡。
• Anchor 指標依賴 anchor 資料集。 日語 anchor 來自 JVNV，中文 anchor 來自 CSEMOTIONS；本次執行缺少 ja/neutral 與 zh/disgust anchor。
• IndexTTS-2 的日語結果屬於診斷性質。 pooled 情緒分數看似強，但在這個設定下日語 CER 過高。

後續研究

• 針對 Qwen3-TTS 與 CosyVoice 進行小規模母語聽者 MOS/CMOS 測試，分別評分自然度、情緒正確性與文字可懂度。
• 暫時將 IndexTTS-2 視為偏中文模型，或修正日語 tokenizer/text path 後重新執行。
• 補齊或整理缺少的 ja/neutral 與 zh/disgust 情緒 anchor。
• 針對中文 sad、angry、fear、disgust 做聚焦的人類評估。
• 保留 SenseVoice 作為自動篩選指標，但產品決策仍應由人類聽測確認。

結論

在日語與中文情感 TTS 中，Qwen3-TTS CustomVoice 1.7B 是本次基準測試最均衡的模型。它尚未解決所有情緒，但在情緒辨識、低 CER、anchor hit rate、自然度與速度之間提供了最實用的組合。