VoicePing Diarization v0.1 は、多言語の話者分離モデルです。42ファイルのベンチマークで NeMo、pyannoteAI precision-2、AssemblyAI、Deepgram と比較しました。
VoicePing Diarization v0.1 は、VoicePing が初めて公開する話者分離モデルです。多言語会議で「誰がいつ話したか」を切り分け、後段の話者本人照合につなげるための話者セグメンテーションモデルです。
この記事では、2026年7月に実施した42ファイルの多言語ベンチマークを通じて、このモデルを紹介します。NeMo、pyannoteAI precision-2、AssemblyAI、Deepgram も評価文脈として含め、VoicePing Diarization v0.1 が既存のオープンな選択肢や商用の話者ラベル付けサービスと比べてどこに位置するかを示します。
一点だけ重要な注意があります。VoicePing Diarization v0.1 は、今回選んだベンチマーク行に対する公開モデル名であり、本番環境のモデルレジストリをライブ確認したものではありません。本番のモデル選択は実行時設定で制御され、さらに本番では、この話者分離のみのベンチマークの外側にある話者本人照合も含まれます。
評価設定
ベンチマークは42ファイル、合計約10.5時間の音声で構成されています。英語、日本語、韓国語、ベトナム語、中国語（標準中国語）の5つの単一言語セットに加え、コードスイッチングを含む2つの多言語ファイルを含みます。シナリオは30秒から1時間、話者数は2〜9人、重複発話は0〜30%です。
これらのファイルは、実在する単一話者録音をつなぎ合わせた合成会話です。そのため正確な参照ラベルと再現可能なスコアリングが得られますが、多くの実会議よりもクリーンです。結果は制御されたベンチマークとして扱うべきであり、ドメイン外の会議評価を置き換えるものではありません。
評価セットは、社内の生エクスポートより意図的に狭くしています。NeMo は主要なローカル・オープンベースラインとして含め、再実行成果物の NeMo Neural MSDD 結果を使いました。pyannoteAI precision-2 は、最も明確な専用商用話者分離サービスとして含めています。Deepgram と AssemblyAI は、購入検討時に話者付き文字起こしとして比較されることが多いため含めていますが、マスクされたセルは直接的な見出しランキングには使っていません。
方法論の詳細として、DER は pyannote.metrics 形式の話者分離誤り率で計算し、フェアカラー、重複発話をスコア対象、コーパス時間加重集計を使用しました。2026年7月の研究評価エクスポートでは、voiceping-inc/titanet Hugging Face スナップショット（titanet_finetuned.nemo）の VoicePing Diarization v0.1 ベンチマーク行、NeMo Neural MSDD ベースライン、pyannoteAI precision-2、AssemblyAI と Deepgram の transcript 付随話者ラベル出力を使用しました。
全体結果
| システム | ファイル数 | DER | 役割 | RTF |
|---|---|---|---|---|
| VoicePing Diarization v0.1 | 42 | 4.01% | VoicePing 話者分離モデル | 0.024 |
| NeMo | 42 | 6.64% | NeMo Neural MSDD ベースライン | 0.020 |
| pyannoteAI precision-2 | 42 | 8.55% | 専用商用話者分離 API | 0.028 |
| AssemblyAI | 42 | xx | transcript 付随の話者ラベル | 0.049 |
| Deepgram | 41 | xx | transcript 付随の話者ラベル | 0.006 |
結論は明快です。制御ベンチマークでは VoicePing Diarization v0.1 が首位で、NeMo、pyannoteAI precision-2 が続きます。専用話者分離 API は、真剣に比較すべき外部候補として十分に近い位置にあります。transcript 付随の行は文脈として含めていますが、精度比較の中心は VoicePing Diarization v0.1、NeMo、pyannoteAI precision-2 です。
構成要素の図には、公開5行すべてを含めています。VoicePing Diarization v0.1、NeMo、pyannoteAI precision-2 は、ミス、誤検出、話者混同の各セグメントの横に見出し DER ラベルを表示しています。AssemblyAI と Deepgram は、比例した構成セグメントと masked DER ラベルを持つ transcript 付随の文脈行として含めています。
言語別結果
| 言語 | VoicePing Diarization v0.1 | NeMo | pyannoteAI precision-2 | AssemblyAI | Deepgram |
|---|---|---|---|---|---|
| 英語 | 3.54% | 4.50% | 4.40% | 21.73% | 8.23% |
| 日本語 | 3.79% | 7.30% | 10.87% | xx | 28.76% |
| 韓国語 | 4.08% | 10.86% | 11.21% | xx | xx |
| ベトナム語 | 4.12% | 5.56% | 7.95% | xx | xx |
| 中国語 | 4.37% | 5.10% | 7.98% | 25.78% | 11.67% |
| 混在、5言語 | 3.50% | 7.53% | 16.54% | xx | xx |
| 混在、4言語 | 4.14% | 4.59% | 4.62% | xx | xx |
言語別に見ると、この公開表の7つの言語バケットすべてで VoicePing Diarization v0.1 が最も強い行です。NeMo は有用なオープンベースラインであり、この行では NeMo Neural MSDD を使用しています。pyannoteAI precision-2 は各言語で一貫して実用的ですが、ここではすべてのバケットで VoicePing Diarization v0.1 を下回っています。
API 行は別の意味を持ちます。Deepgram と AssemblyAI は話者付き文字起こしの参考として有用ですが、公開表は、それらを多言語の話者タイムラインに対する直接的な話者分離代替として見せるべきではない理由も示しています。
シナリオと短時間音声の示唆
シナリオ表示は、スイート全体の単一平均ではなく、セグメントごとに読む必要があります。VoicePing Diarization v0.1 は5分ベースバケットで 3.92% DER と最も強く、2分音声で 6.04%、5分の非重複音声で 5.93%、30分の7〜9話者音声で 5.57% と一桁台中盤に収まります。その後、難しい会議バケットでは、30%重複を含む5分音声で 8.23%、7〜9話者の5分音声で 8.69%、60分音声で 8.28% まで上がります。
プロダクト計画では、3つの問いを分ける必要があります。第一に、フル会議で最も強い話者分離パイプラインはどれか。第二に、各話者の発話量が少ないときに堅牢な埋め込みモデルはどれか。第三に、MSDD 改善と話者本人照合の後で、本番パイプライン全体がどう振る舞うか。この記事は、セグメンテーション層の第一の問いだけに答えます。
ローカルシステムの速度は良好です。PC-54 の全スイートエクスポートでは、VoicePing Diarization v0.1 は 0.024 RTF、NeMo は 0.020 RTF、pyannoteAI precision-2 は 0.028 RTF と報告されています。API の時間はプロバイダー側の挙動を含むため、ハードウェアをそろえたベンチマークではなく運用文脈として読むべきです。速度チャートでは AssemblyAI と Deepgram を masked DER の API 文脈として残し、タイミング比較の焦点を運用文脈に保っています。
transcript 付随 API：有用だが別物
Deepgram と AssemblyAI は文字起こし出力に話者ラベルを付与します。ユーザーが話者付き文字起こしを必要とする場合には有用ですが、音声全体のタイムラインを話者分離することと同じではありません。発話が文字起こしされない、または特定言語で文字起こしが不安定な場合、話者タイムラインもその制約を引き継ぎます。
AssemblyAI は Deepgram より音響寄りに振る舞いますが、公開表では一部の行がまだマスクされています。この記事では、両プロバイダーを方法論、全体図、言語別図に残しています。これは購入検討の参考として一般的だからであり、最も強い話者分離競合だからではありません。
VoicePing にとっての意味
この記事では、選択した VoicePing ベンチマーク結果を VoicePing Diarization v0.1 として提示しています。これにより、社内実験名ではなく、顧客向けモデル名に焦点を合わせられます。VoicePing Diarization v0.1 はベンチマークで首位であり、今後注視すべき真剣な比較対象は pyannoteAI precision-2 です。
それでも、継続的な内部診断の重要性は下がりません。本番の話者分離は一段階にすぎません。文字起こしアラインメント、話者セグメンテーション、そして既知のワークスペース音声に対する話者本人照合があります。最後の段階によって、匿名ラベルは会議をまたいで同じ同僚名に変わりますが、今回ベンチマークした API はこれを提供しません。次の公開フォローアップでは、この孤立したセグメンテーション行だけでなく、本番パイプライン全体を評価すべきです。
また、このため記事では不安定な短時間クリップの逸話を比率として公開していません。短いファイルは実際の失敗モードを示すことがありますが、1つのシナリオにストーリーを過剰適合させないためには、十分な例を持つ別の受け入れテストが必要です。本番上の問いは、セグメンターが制御コーパスで勝つかだけではありません。ライブ会議、アップロード通話、短い音声スニペットを通じて、ユーザーが正しい話者名、安定したターン、有用な文字起こしを一貫して見られるかです。
制限と結論
主な制限は評価セットです。合成会話は正確な参照を与えますが、実会議よりクリーンで、学習データに関連するドメインから来ています。タイムラインもほぼ発話で埋まっているため、誤検出の挙動を十分に厳しく試せていません。最終的な本番主張を行うには、より難しい重複発話を含む、実際のドメイン外マルチスピーカーセットがまだ必要です。
この範囲内での主な結論は、VoicePing Diarization v0.1 が42ファイルのベンチマークで首位、pyannoteAI precision-2 は注視すべき専用商用 API 行、そしてマスクされたセルがある場所では transcript 付随プロダクトを定性的な参考として扱うべき、ということです。次の作業は、本番モデル名、短時間音声の挙動、エンドツーエンドの本番パイプラインベンチマークに集中すべきです。
