VoicePing Diarization v0.1 ialah model diarization penutur berbilang bahasa yang dinilai pada benchmark 42 fail bersama NeMo, pyannoteAI precision-2, AssemblyAI dan Deepgram.
Memperkenalkan VoicePing Diarization v0.1
VoicePing Diarization v0.1 ialah keluaran awam pertama kami untuk model diarization: model segmentasi penutur bagi mesyuarat berbilang bahasa, direka untuk mengenal pasti siapa bercakap pada bila-bila masa sebelum pemadanan identiti penutur downstream.
Artikel ini memperkenalkan model melalui benchmark berbilang bahasa 42 fail pada Julai 2026. NeMo, pyannoteAI precision-2, AssemblyAI dan Deepgram dimasukkan sebagai konteks penilaian supaya pembaca dapat memahami kedudukan VoicePing Diarization v0.1 berbanding pilihan open dan komersial yang biasa untuk pelabelan penutur.
Satu peringatan penting: VoicePing Diarization v0.1 ialah identiti model awam untuk baris benchmark yang dipilih, bukan semakan registry production secara langsung. Pemilihan model production dikawal oleh runtime configuration, dan production juga merangkumi pemadanan identiti penutur downstream di luar benchmark diarization-only ini.
Tetapan penilaian
Benchmark mengandungi 42 fail dan kira-kira 10.5 jam audio: lima set monolingual dalam bahasa Inggeris, Jepun, Korea, Vietnam dan Mandarin, serta dua fail berbilang bahasa dengan code-switching. Senario berkisar daripada 30 saat hingga 1 jam, dengan 2-9 penutur dan 0-30% pertuturan bertindih.
Fail ini ialah perbualan sintetik yang dicantum daripada rakaman sebenar seorang penutur. Ini memberikan label rujukan yang tepat dan scoring yang boleh diulang, tetapi ia lebih bersih daripada banyak mesyuarat sebenar. Keputusan perlu dianggap sebagai benchmark terkawal, bukan pengganti penilaian mesyuarat luar domain.
Set penilaian sengaja lebih sempit daripada eksport dalaman mentah. NeMo dimasukkan sebagai baseline open tempatan utama, menggunakan keputusan NeMo Neural MSDD daripada artifact rerun. pyannoteAI precision-2 dimasukkan sebagai perkhidmatan diarization komersial khusus yang paling jelas. Deepgram dan AssemblyAI dimasukkan kerana pembeli sering membandingkannya semasa menilai transcript dengan atribusi penutur, tetapi sel yang dimask tidak digunakan untuk ranking headline langsung.
Butiran metodologi: DER dinilai dengan diarization error rate gaya pyannote.metrics, menggunakan fair collar, overlap scored, dan agregasi berwajaran masa corpus. Eksport penilaian penyelidikan Julai 2026 menggunakan baris benchmark VoicePing Diarization v0.1 daripada snapshot Hugging Face voiceping-inc/titanet (titanet_finetuned.nemo), baseline NeMo Neural MSDD, pyannoteAI precision-2, serta output label penutur speaker-attributed transcript daripada AssemblyAI dan Deepgram.
Keputusan keseluruhan
| Sistem | Fail | DER | Peranan | RTF |
|---|---|---|---|---|
| VoicePing Diarization v0.1 | 42 | 4.01% | Model diarization VoicePing | 0.024 |
| NeMo | 42 | 6.64% | Baseline NeMo Neural MSDD | 0.020 |
| pyannoteAI precision-2 | 42 | 8.55% | API diarization komersial khusus | 0.028 |
| AssemblyAI | 42 | xx | Label penutur speaker-attributed transcript | 0.049 |
| Deepgram | 41 | xx | Label penutur speaker-attributed transcript | 0.006 |
Headline yang jelas adalah mudah: VoicePing Diarization v0.1 mendahului benchmark terkawal, diikuti NeMo, kemudian pyannoteAI precision-2. API diarization khusus masih cukup dekat untuk menjadi perbandingan luaran yang serius. Baris speaker-attributed transcript disertakan sebagai konteks, manakala perbandingan ketepatan teras kekal antara VoicePing Diarization v0.1, NeMo dan pyannoteAI precision-2.
Paparan komponen merangkumi semua lima baris awam. VoicePing Diarization v0.1, NeMo dan pyannoteAI precision-2 menunjukkan label DER headline di sebelah segmen miss, false alarm dan speaker-confusion. AssemblyAI dan Deepgram dimasukkan sebagai baris konteks speaker-attributed transcript dengan segmen komponen berkadar dan label masked DER.
Keputusan mengikut bahasa
| Bahasa | VoicePing Diarization v0.1 | NeMo | pyannoteAI precision-2 | AssemblyAI | Deepgram |
|---|---|---|---|---|---|
| Inggeris | 3.54% | 4.50% | 4.40% | 21.73% | 8.23% |
| Jepun | 3.79% | 7.30% | 10.87% | xx | 28.76% |
| Korea | 4.08% | 10.86% | 11.21% | xx | xx |
| Vietnam | 4.12% | 5.56% | 7.95% | xx | xx |
| Mandarin | 4.37% | 5.10% | 7.98% | 25.78% | 11.67% |
| Campuran, 5 bahasa | 3.50% | 7.53% | 16.54% | xx | xx |
| Campuran, 4 bahasa | 4.14% | 4.59% | 4.62% | xx | xx |
Mengikut bahasa, VoicePing Diarization v0.1 ialah baris terkuat merentas semua tujuh bucket bahasa dalam jadual awam ini. NeMo kekal baseline open yang berguna; baris ini menggunakan NeMo Neural MSDD. pyannoteAI precision-2 konsisten boleh digunakan merentas bahasa, tetapi di sini ia mengekori VoicePing Diarization v0.1 dalam setiap bucket.
Baris API membawa cerita berbeza. Deepgram dan AssemblyAI ialah rujukan berguna untuk transcript dengan atribusi penutur, tetapi jadual awam menunjukkan sebab ia tidak patut dipersembahkan sebagai pengganti diarization langsung untuk timeline penutur berbilang bahasa.
Senario dan dapatan audio pendek
Paparan senario perlu dibaca segmen demi segmen, bukan sebagai satu purata suite. VoicePing Diarization v0.1 paling kuat pada bucket asas 5 minit dengan DER 3.92%, kekal pada angka satu digit pertengahan untuk audio 2 minit pada 6.04%, audio 5 minit tanpa overlap pada 5.93%, dan audio 30 minit dengan 7-9 penutur pada 5.57%, kemudian meningkat pada bucket mesyuarat lebih sukar: 8.23% untuk 5 minit dengan 30% overlap, 8.69% untuk 5 minit dengan 7-9 penutur, dan 8.28% untuk audio 60 minit.
Untuk perancangan produk, ini bermaksud kita perlu memisahkan tiga soalan. Pertama, pipeline diarization mana paling kuat untuk mesyuarat penuh? Kedua, model embedding mana robust apabila setiap penutur mempunyai sedikit pertuturan? Ketiga, bagaimana pipeline production penuh berkelakuan selepas MSDD refinement dan pemadanan identiti penutur? Post ini hanya menjawab bahagian pertama pada lapisan segmentasi.
Kelajuan kekal baik untuk sistem tempatan. Eksport full-suite PC-54 melaporkan VoicePing Diarization v0.1 pada 0.024 RTF, hampir dengan NeMo pada 0.020 RTF dan pyannoteAI precision-2 pada 0.028 RTF. Masa API merangkumi tingkah laku provider dan harus dibaca sebagai konteks operasi, bukan benchmark yang dinormalisasi hardware. Carta kelajuan mengekalkan AssemblyAI dan Deepgram sebagai konteks API masked DER supaya perbandingan masa kekal fokus pada konteks operasi.
API speaker-attributed transcript: berguna, tetapi berbeza
Deepgram dan AssemblyAI melekatkan label penutur pada output transcription. Ini berguna apabila pengguna memerlukan transcript dengan atribusi penutur, tetapi ia tidak sama dengan diarizing seluruh timeline audio. Jika pertuturan tidak ditranscribe, atau transcript tidak stabil dalam sesuatu bahasa, timeline penutur turut mewarisi had itu.
AssemblyAI berkelakuan lebih akustik daripada Deepgram, tetapi beberapa baris masih dimask dalam jadual awam. Dalam artikel ini, kedua-dua provider kekal dalam metodologi, paparan keseluruhan dan paparan bahasa kerana ia ialah rujukan biasa dalam laluan pembelian, bukan kerana ia pesaing diarization paling kuat.
Makna untuk VoicePing
Artikel ini mempersembahkan keputusan benchmark VoicePing yang dipilih sebagai VoicePing Diarization v0.1. Ini memastikan cerita tertumpu pada identiti model yang menghadap pelanggan, bukan nama eksperimen dalaman. VoicePing Diarization v0.1 mendahului benchmark, dan perbandingan serius untuk dipantau ialah pyannoteAI precision-2.
Itu tidak mengurangkan kepentingan diagnosis dalaman yang berterusan. Diarization production hanyalah satu tahap: penjajaran transcript, segmentasi penutur, kemudian pemadanan identiti penutur terhadap suara workspace yang dikenali. Tahap akhir menukar label tanpa nama kepada nama rakan sekerja yang sama merentas mesyuarat, yang tidak diberikan oleh API benchmark ini. Susulan awam seterusnya harus menilai pipeline production penuh, bukan hanya baris segmentasi terpencil ini.
Inilah juga sebab artikel mengelakkan penerbitan anekdot short-clip yang belum stabil sebagai nisbah. Fail pendek boleh mendedahkan failure mode sebenar, tetapi ia memerlukan acceptance test berasingan dengan contoh yang mencukupi supaya cerita tidak overfit kepada satu senario. Soalan production bukan hanya sama ada segmenter menang pada corpus terkawal; soalnya ialah sama ada pengguna konsisten melihat nama penutur yang betul, giliran stabil dan transcript berguna merentas live meeting, panggilan yang dimuat naik dan voice snippet pendek.
Had dan kesimpulan
Had utama ialah set penilaian. Perbualan sintetik memberi rujukan tepat, tetapi ia lebih bersih daripada mesyuarat sebenar dan datang daripada domain berkaitan data latihan kami. Timeline juga hampir dipenuhi speech dari awal hingga akhir, jadi tingkah laku false-alarm belum cukup ditekan. Set multi-penutur luar domain yang sebenar, termasuk rakaman overlap yang lebih sukar, masih diperlukan sebelum membuat tuntutan production akhir.
Dalam had tersebut, kesimpulan utama ialah: VoicePing Diarization v0.1 mendahului benchmark 42 fail, pyannoteAI precision-2 ialah baris API komersial khusus untuk dipantau, dan produk speaker-attributed transcript harus kekal sebagai rujukan kualitatif di tempat sel dimask. Kerja seterusnya harus fokus pada identiti model production, tingkah laku audio pendek dan benchmark pipeline production end-to-end.
