介紹 VoicePing Diarization v0.1 | VoicePing
Speaker Diarization Benchmark NeMo pyannoteAI Deepgram AssemblyAI Multilingual Meeting Transcription Voice AI

介紹 VoicePing Diarization v0.1

Arun Kumar - VoicePing 2 分鐘閱讀
介紹 VoicePing Diarization v0.1

VoicePing Diarization v0.1 是多語言說話者分離模型。本次以 42 個檔案的基準測試,與 NeMo、pyannoteAI precision-2、AssemblyAI 和 Deepgram 比較。

介紹 VoicePing Diarization v0.1

VoicePing Diarization v0.1 是我們首次公開發布的說話者分離模型:這是一個面向多語言會議的說話者分段模型,用來辨識誰在什麼時間說話,並銜接後續的說話者身分匹配。

本文透過 2026 年 7 月的一項 42 檔案多語言基準測試介紹此模型。NeMo、pyannoteAI precision-2、AssemblyAI 和 Deepgram 也作為評估脈絡納入,讓讀者了解 VoicePing Diarization v0.1 相對於常見開源與商用說話者標註選項的位置。

有一點很重要:VoicePing Diarization v0.1 是所選基準測試列的公開模型身分,而不是即時檢查生產模型註冊表。生產模型選擇由執行時設定控制,而且生產系統還包含此純說話者分離基準之外的下游說話者身分匹配。

評估設定

基準測試包含 42 個檔案、約 10.5 小時音訊:英語、日語、韓語、越南語和華語五個單語集合,以及兩個含程式碼切換的多語言檔案。情境從 30 秒到 1 小時不等,包含 2-9 位說話者與 0-30% 的重疊語音。

這些檔案是由真實單一說話者錄音拼接而成的合成對話。因此它們有精確參考標籤和可重複評分,但也比許多真實會議更乾淨。結果應被視為受控基準測試,而不是域外會議評估的替代品。

評估集刻意比原始內部匯出更窄。NeMo 作為主要本地開源基線,使用重新執行產物中的 NeMo Neural MSDD 結果。pyannoteAI precision-2 作為最清楚的專用商用說話者分離服務。Deepgram 和 AssemblyAI 被納入,是因為採購者在評估帶說話者轉錄時常會比較它們,但遮蔽的儲存格不用於直接的標題排名。

方法細節:DER 使用 pyannote.metrics 風格的說話者分離錯誤率計算,採用 fair collar,將重疊語音納入評分,並以語料時間加權聚合。2026 年 7 月研究評估匯出使用 voiceping-inc/titanet Hugging Face 快照(titanet_finetuned.nemo)中的 VoicePing Diarization v0.1 基準列、NeMo Neural MSDD 基線、pyannoteAI precision-2,以及 AssemblyAI 和 Deepgram 的 transcript 附帶說話者標籤輸出。

整體結果

各說話者分離系統的整體 DER 比較

系統檔案DER角色RTF
VoicePing Diarization v0.1424.01%VoicePing 說話者分離模型0.024
NeMo426.64%NeMo Neural MSDD 基線0.020
pyannoteAI precision-2428.55%專用商用說話者分離 API0.028
AssemblyAI42xxtranscript 附帶說話者標籤0.049
Deepgram41xxtranscript 附帶說話者標籤0.006

清楚的結論很簡單:VoicePing Diarization v0.1 在受控基準測試中領先,接著是 NeMo,再來是 pyannoteAI precision-2。專用說話者分離 API 仍然足夠接近,是值得認真比較的外部對象。transcript 附帶列作為脈絡保留,而核心準確率比較仍是 VoicePing Diarization v0.1、NeMo 和 pyannoteAI precision-2。

核心系統的錯誤組成

組成視圖包含全部五個公開列。VoicePing Diarization v0.1、NeMo 和 pyannoteAI precision-2 在漏檢、誤報與說話者混淆分段旁顯示標題 DER 標籤。AssemblyAI 和 Deepgram 則作為 transcript 附帶脈絡列,帶有成比例的組成分段與 masked DER 標籤。

依語言劃分的結果

依語言劃分的 DER 熱力圖

依語言劃分的 DER 比較:日語、韓語與英語

依語言劃分的 DER 比較:越南語與華語

依語言劃分的 DER 比較:多語言分組

語言VoicePing Diarization v0.1NeMopyannoteAI precision-2AssemblyAIDeepgram
英語3.54%4.50%4.40%21.73%8.23%
日語3.79%7.30%10.87%xx28.76%
韓語4.08%10.86%11.21%xxxx
越南語4.12%5.56%7.95%xxxx
華語4.37%5.10%7.98%25.78%11.67%
混合,5 種語言3.50%7.53%16.54%xxxx
混合,4 種語言4.14%4.59%4.62%xxxx

從語言角度來看,VoicePing Diarization v0.1 在此公開表的七個語言分組中都是最強的一列。NeMo 仍是有用的開源基線;此列使用 NeMo Neural MSDD。pyannoteAI precision-2 在各語言中都穩定可用,但在這裡每個分組都落後於 VoicePing Diarization v0.1。

API 列說的是另一件事。Deepgram 和 AssemblyAI 是帶說話者轉錄的有用參考,但公開表也說明,為什麼不應將它們呈現為多語言說話者時間線的直接說話者分離替代品。

情境與短音訊觀察

分鐘級分段 DER:短時與基本時長

分鐘級分段 DER:5 分鐘條件

分鐘級分段 DER:長時與多說話者條件

情境視圖應逐段閱讀,而不是當作單一套件平均值。VoicePing Diarization v0.1 在 5 分鐘基本分組最強,DER 為 3.92%;在 2 分鐘音訊為 6.04%,5 分鐘無重疊音訊為 5.93%,30 分鐘 7-9 位說話者音訊為 5.57%,都維持在中個位數。接著在更困難的會議分組中上升:30% 重疊的 5 分鐘音訊為 8.23%,7-9 位說話者的 5 分鐘音訊為 8.69%,60 分鐘音訊為 8.28%。

對產品規劃而言,這代表應分開看三個問題。第一,哪個說話者分離管線在完整會議中最強?第二,當每位說話者的語音很少時,哪個嵌入模型更穩健?第三,在 MSDD 改進與說話者身分匹配之後,完整生產管線表現如何?本文只回答分段層面的第一個問題。

準確率與速度散點圖

本地系統的速度仍然有利。PC-54 全套件匯出報告 VoicePing Diarization v0.1 為 0.024 RTF,接近 NeMo 的 0.020 RTF 和 pyannoteAI precision-2 的 0.028 RTF。API 計時包含供應商行為,應作為營運脈絡理解,而不是硬體歸一化基準。速度圖將 AssemblyAI 和 Deepgram 保留為 masked DER API 脈絡,使計時比較聚焦在營運脈絡。

transcript 附帶 API:有用,但不同

Deepgram 和 AssemblyAI 會將說話者標籤附加到轉錄輸出。當使用者需要帶說話者的轉錄時,這很有用,但它不等於對整段音訊時間線做說話者分離。如果語音沒有被轉錄,或某種語言的轉錄不穩定,說話者時間線也會繼承這個限制。

AssemblyAI 的行為比 Deepgram 更偏聲學,但公開表中仍有一些列被遮蔽。本文將兩家供應商保留在方法論、整體視圖和語言視圖中,因為它們是常見採購路徑參考,而不是因為它們是最強的說話者分離競爭者。

這對 VoicePing 的意義

本文將選定的 VoicePing 基準結果呈現為 VoicePing Diarization v0.1。這讓故事聚焦在面向客戶的模型身分,而不是內部實驗名稱。VoicePing Diarization v0.1 領先此基準,而值得關注的嚴肅比較對象是 pyannoteAI precision-2。

這並不會降低持續內部診斷的重要性。生產說話者分離只是一個階段:轉錄對齊、說話者分段,然後是針對已知工作區聲音的說話者身分匹配。最後這個階段會把匿名標籤變成跨會議一致的同事姓名,而本次基準中的 API 不提供此能力。下一篇公開後續文章應評估完整生產管線,而不只是這個孤立的分段列。

這也是本文避免將不穩定短片段軼事發布成比例的原因。短檔案可以暴露真實失敗模式,但需要有足夠樣本的單獨驗收測試,才能避免讓故事過度擬合到單一情境。生產問題不只是分段器是否在受控語料中勝出,而是使用者是否能在即時會議、上傳通話和短語音片段中持續看到正確說話者姓名、穩定輪次和有用轉錄。

限制與結論

主要限制是評估集。合成對話提供精確參考,但比真實會議更乾淨,且來自與訓練資料相關的領域。時間線也接近連續語音,因此對誤報行為的壓力不夠。要提出最終生產主張,仍需要真實的域外多說話者集合,包括更困難的重疊語音錄音。

在這些限制內,主要結論是:VoicePing Diarization v0.1 領先 42 檔案基準;pyannoteAI precision-2 是值得關注的專用商用 API 列;在出現遮蔽儲存格的地方,transcript 附帶產品應保留為定性參考。下一步應聚焦於生產模型身分、短音訊行為,以及端到端生產管線基準。

Share this article

免費試用 VoicePing

藉助 AI 翻譯跨越語言障礙。立即免費試用。

免費開始