大規模な話者識別で何が破綻するのか？5モデルによる多言語オープンセット・ベンチマーク

話者識別ベンチマークでは、わずかな等価エラー率の差とモデル順位が前面に出がちです。本研究では、プローブ話者が未登録である可能性を含むオープンセット環境で、最上位候補を受け入れるだけの強度と明確さがあるかという運用上の判断を中心に据えます。

結論の要約

4秒の発話と4つの登録サンプルがあれば、5モデルの性能差は実質的に小さくなります。2秒では ReDimNet-B6 と w2v-BERT-SV が先頭グループです。ReDimNet は、コンパクトなチェックポイントでありながら、主要なホールドアウト評価と、クリーン条件・大規模ギャラリーの補助検証の双方で一貫して強く、研究上の総合候補として最も有力です。ただし、これは本番モデルの置き換えを決めるのに十分な証拠ではありません。

運用上の最重要結果は、拒否判定のキャリブレーションをモデルごとに行う必要があることです。共通のコサイン閾値では、話者識別能力だけでなく、尺度の異なる埋め込み空間そのものを比較してしまいます。各チェックポイントについて、代表的な開発用話者から類似度閾値と1位・2位スコア差のマージンを選ぶ必要があります。

以降では、4つの問いに順番に答えます。短い発話でも信頼できるモデルはどれか。4秒になるとモデル差は残るか。未知話者をどう拒否すべきか。そして、精度・計算量・ライセンスを合わせた証拠は本番導入の判断を支えられるか、です。

主要なホールドアウト評価

どの証拠を最も重視すべきでしょうか。5モデルすべてを比較し、キャリブレーション用話者と最終テスト話者を分離したオープンセット評価が主要証拠です。各言語で20話者をギャラリーに残し、10話者を完全に除外します。除外した5話者で類似度閾値と上位2候補のマージンを選び、残りの5話者にその設定を変更せず適用します。これにより、100話者のギャラリー、開発用の未知話者25人、開発用とは異なるテスト未知話者25人が得られます。すべてのモデルに同じハッシュ化済みプローブ集合を使用します。

オープンセット識別には、登録話者のうち誰が最も近いか、その一致を受け入れるだけの確信があるか、という2つの判断があります。本稿では、等価エラー率（EER）、既知プローブを正しく識別して受け入れた割合である検出識別率（DIR）、未知話者に対する誤受入率（FAR）を報告します。

閾値とマージンは、開発用未知話者の FAR を1%以下にする条件で開発用話者だけから選び、テスト話者には変更せず適用します。信頼区間には2,000回の話者クラスタ・ブートストラップを用い、50通りの決定論的な話者分割で結果の分割依存性を測定します。この分離により、ホールドアウト評価は本研究で最も信頼できるオープンセット証拠になります。

4つの登録埋め込みを使用した代表分割の結果は次のとおりです。

この評価によって、研究全体で最も強い証拠が確立されます。次の節では、その証拠を運用条件ごとに分け、短時間音声、4秒音声、未知話者拒否のそれぞれでモデル選択を明確にします。

運用条件別の結果

上の主要結果表は、3つの運用上の問いに答えます。各小節では、まず安定した結論を示し、その後に点推定と不確実性を示します。

2秒しかない場合、どのモデルが有力か？

2秒しか使えない場合、ReDimNet と w2v-BERT が先頭グループです。代表分割では ReDimNet の DIR が最も高くなりました。TitaNet との話者対応ブートストラップ比較では、DIR の差は ReDimNet が11.0ポイント（95% CI 7.4–15.2）、w2v-BERT が8.4ポイント（4.6–12.4）、WeSpeaker が5.8ポイント（2.2–9.6）です。3モデルはいずれも Holm 補正後も有意で、ECAPA の1ポイント差は有意ではありません。

安定性分析は、その点推定と矛盾するのではなく、結論を限定します。50通りの決定論的分割では、DIR 中央値は w2v-BERT が92.8%、ReDimNet が92.0%で、5～95パーセンタイル範囲は大きく重なります。したがって証拠が支持するのは、短時間音声における2モデルの先頭グループであり、厳密な1位から5位の順位ではありません。

4秒あれば、モデル選択はまだ重要か？

現在の証拠では、実質的には重要ではありません。4秒では、TitaNet に対する各候補の運用上の差は補正後に有意ではありません。区間は重なり、5モデルすべてが飽和に近づきます。TitaNet の観測 DIR 98.8% は優位性を示さず、ReDimNet の観測 FAR 0% も未知話者リスクがゼロであることを意味しません。テスト未知プローブ250件で誤受入れが0件でも、95%正確二項上限は1.46%です。4秒を確保できる場合、モデル順位より不確実性と運用リスクのほうが重要です。

未知話者をどう拒否すべきか？

共通のコサイン閾値ではなく、モデルごとのキャリブレーションを使うべきです。類似度閾値は一致の絶対的な強さを制御し、1位・2位のマージンは曖昧な一致を拒否します。いずれも最終テスト用に確保した話者を使わず選ぶ必要があります。ホールドアウト結果は、この規則が未見の未知話者にも移行することを示しますが、テスト集が小さいため不確実性は残ります。

以上が主要なホールドアウト結論です。より広く適用する前に、次の節では、より単純なクリーン条件と大規模ギャラリーでも結論が整合するかを確認します。

補助的な検証

主要結果は1つのプロトコルだけに依存しているのでしょうか。2つの補助検証が別々の側面を確認します。クリーンベンチマークは5モデルの基礎性能と時間感度を、大規模ギャラリー診断は TitaNet と ReDimNet のギャラリー拡大耐性を検証します。どちらも主要なホールドアウト評価の代わりにはなりません。

クリーン多言語ベンチマーク

クリーン音声では5モデルすべてが十分に強いのでしょうか。答えは「はい」です。クリーンベンチマークでは、各言語から既知30話者と未知10話者を使用します。主要条件は、4秒のプローブと4つの登録埋め込みを用いる均衡化された150話者ギャラリーです。これはモデルの基礎性能を確認する補助検証であり、未知話者対応や会議対応力の主要結果ではありません。

4秒では、EER が0.74%を超えるモデルはなく、全モデルのクローズドセット top-1 精度が99.5%を上回ります。ReDimNet の EER が最も低いものの、全体の差は0.33ポイントにすぎません。

固定閾値0.5での未知話者受入率には39.6ポイントの差があり、同一閾値をモデル間で移用できないことが分かります。4秒条件の小さな EER 差より、発話時間と登録数のほうが実用上の影響は大きく、登録例を増やすと概して改善し、2秒では差が明確になり、4秒では飽和が始まります。

この傾向は公開結果と整合しますが、再現実験ではありません。TitaNet 論文 はクリーン版 VoxCeleb1 検証試験で0.68% EER、ReDimNet 論文 は VoxCeleb1-O Cleaned における ReDimNet-B6 SF2-LM で0.40%を報告しています。これらの試験は、音声、長さ、話者、スコア母集団、タスクの点で本研究の多言語識別ギャラリーと異なります。

クリーン検証は基礎性能を確認しますが、ギャラリー拡大への耐性は分かりません。次の診断では、対象となる2モデルに絞ってその問いを検証します。

900話者ギャラリー診断

ギャラリーを拡大しても ReDimNet は競争力を保つのでしょうか。方向性としては「はい」です。この補助診断では、同じクリーン音声コーパスを登録900話者、保留100話者まで拡大しますが、対象は TitaNet と ReDimNet のみです。4秒・登録埋め込み4つの条件で、ReDimNet と TitaNet の EER は0.82%と0.84%、クローズドセット top-1 精度は98.92%と98.81%で、ほぼ同等です。この診断では ReDimNet のスコア分布がより良好でした。

この結果は方向性を示す補助証拠であり、主要結果ではありません。FAR の調整と評価に同じ未知話者集合を使っているためです。ReDimNet がギャラリー拡大時にも競争力を保つ可能性は示しますが、ホールドアウト結果でも導入保証でもありません。

2つの補助検証は、主要結論を変えることなく、その整合性を補強します。ただし精度の整合性だけでは導入可能性を判断できません。次の節では、計算量、ライセンス、未測定項目を検討します。

導入評価

この結果から本番モデルを選べるのでしょうか。まだ選べません。精度は導入判断の一部にすぎません。今回の実行では NVIDIA GeForce RTX 5090 上の埋め込みリアルタイム係数（RTF）を計測しました。RTF に4秒の入力時間を掛けた概算埋め込み時間を以下に示します。モデル読込、音声転送、ギャラリー照合、ネットワーク、並行処理、アプリケーション処理は含みません。

ピーク VRAM、チェックポイント容量、コールドスタート時間、CPU 本番性能、持続スループット、ハードウェア構成は今回測定していません。導入判断には、対象ランタイムと並行処理条件での別ベンチマークが必要であり、この表から導入モデルの勝者は決められません。

これらの未測定項目は補足事項ではなく、証拠の境界を定めます。次の節では、その境界を明示します。

制約

本研究で確立できないことは何でしょうか。クリーンで、ほぼ単一セッションの音声を超えた頑健性は確立できません。登録窓とプローブ窓は時間的に重複しませんが、4,469話者中4,398話者（98.4%）は元録音が1本しかありません。そのため、マイク、チャンネル、部屋、背景、セッションの特徴が残る可能性があり、セッションをまたぐ頑健性や実会議での頑健性は確立できません。

ホールドアウト未知話者テストは、各条件で25話者・250プローブに限られます。重複発話、ダイアライゼーション誤り、騒音環境、本番並行処理、エンドツーエンド遅延は対象外です。結論はモデルとキャリブレーションの研究を支えるもので、直ちに本番モデルを置き換える根拠ではありません。

これらの制約は、結果の利用範囲を定めます。付録では、各結果をどのように生成し、3つの評価プロトコルの証拠の強さがなぜ異なるのかを記録します。

方法論付録

結果はどのように生成され、比較可能性を保ったのでしょうか。この付録では、チェックポイントの出所、決定論的サンプリング、登録方法、キャリブレーション探索、不確実性推定、各プロトコルの役割を記載します。

モデルとチェックポイントの出所

5つの公開チェックポイント群を、同じコサイン照合ハーネスで評価しました。

評価した TitaNet は公開版チェックポイントです。この結果を、別途ファインチューニングした TitaNet に帰属させてはいけません。

データ、サンプリング、登録

評価マニフェストには、4,469話者から得た5,089録音が含まれます。録音数／話者数は、英語1,665/1,489、日本語1,704/1,476、韓国語438/438、ベトナム語425/209、中国語857/857です。TED や言語別コレクションを含む、単一話者の講演、長時間インタビュー、チャンネル録音を整理した評価データであり、モデルの学習コーパスを示すものではありません。重複監査では、評価録音と各公開チェックポイントの文書化された事前学習コーパスとの重複は見つかりませんでした。

ハーネスは各時間条件で固定2秒、4秒、8秒の窓を決定論的に抽出します。既知話者は登録窓4つとプローブ窓10個、未知話者はプローブ窓10個を提供します。時間区間は重複しません。音声は float32 で読み込み、モノラルに混合し、必要に応じて16 kHzへリサンプリングします。VAD、ノイズ除去、音量正規化、データ拡張、ダイアライゼーションは追加しません。

各切り出しの埋め込みを L2 正規化し、最初の1、2、または4個の登録ベクトルを平均して再度正規化し、セントロイドを作成します。正規化した各プローブと全セントロイドをコサイン類似度で照合します。安定ハッシュとシード1337により、全モデルへ同じ話者と切り出し計画を適用します。

規則選択と不確実性

類似度閾値の候補は、開発用未知話者の最上位スコアの経験分位点から最大101水準を取り、最大値をわずかに上回る値を加えます。マージン候補は0と、開発用の既知・未知話者における1位・2位スコア差の経験分位点から最大51水準を取ります。

開発用未知話者の FAR が1%以下の規則だけを残し、開発 DIR が最大のものを選びます。同率なら FAR が低いもの、次に類似度閾値が低いもの、マージンが低いものを優先します。その規則を話者が重複しないテスト集合へ変更せず適用します。不確実性には2,000回の話者クラスタ・ブートストラップを用い、50通りの決定論的話者分割で安定性を確認します。

証拠の位置づけ

150話者のクリーンベンチマークは、モデルの基礎性能と発話時間・登録数への感度を確認します。900話者診断は TitaNet と ReDimNet のギャラリー拡大耐性を調べますが、キャリブレーションと評価に同じ未知話者集合を用いるため、運用数値は方向性を示すにとどまります。話者分離型の5モデル評価は、開発用とテスト用の未知話者を分けており、本稿の主要証拠です。各プロトコルは異なる問いに答えるもので、互いに置き換えることはできません。