VoicePing Diarization v0.1 adalah model diarization penutur multibahasa yang dievaluasi pada benchmark 42 file bersama NeMo, pyannoteAI precision-2, AssemblyAI, dan Deepgram.
Memperkenalkan VoicePing Diarization v0.1
VoicePing Diarization v0.1 adalah rilis publik pertama kami untuk model diarization: model segmentasi penutur untuk rapat multibahasa, dirancang untuk mengidentifikasi siapa berbicara kapan sebelum pencocokan identitas penutur di tahap berikutnya.
Artikel ini memperkenalkan model melalui benchmark multibahasa 42 file pada Juli 2026. NeMo, pyannoteAI precision-2, AssemblyAI, dan Deepgram disertakan sebagai konteks evaluasi agar pembaca memahami posisi VoicePing Diarization v0.1 dibanding opsi open source dan komersial yang umum untuk pelabelan penutur.
Satu catatan penting: VoicePing Diarization v0.1 adalah identitas model publik untuk baris benchmark yang dipilih, bukan pemeriksaan registry produksi secara langsung. Pemilihan model produksi dikendalikan oleh konfigurasi runtime, dan produksi juga mencakup pencocokan identitas penutur downstream di luar benchmark diarization-only ini.
Setup evaluasi
Benchmark berisi 42 file dan sekitar 10,5 jam audio: lima set monolingual dalam bahasa Inggris, Jepang, Korea, Vietnam, dan Mandarin, serta dua file multibahasa dengan code-switching. Skenario berkisar dari 30 detik hingga 1 jam, dengan 2-9 penutur dan 0-30% ucapan tumpang tindih.
File tersebut adalah percakapan sintetis yang dirangkai dari rekaman nyata satu penutur. Ini memberi label referensi yang tepat dan skor yang dapat diulang, tetapi lebih bersih daripada banyak rapat nyata. Hasil harus diperlakukan sebagai benchmark terkontrol, bukan pengganti evaluasi rapat di luar domain.
Set evaluasi sengaja lebih sempit daripada ekspor internal mentah. NeMo disertakan sebagai baseline open lokal utama, memakai hasil NeMo Neural MSDD dari artifact rerun. pyannoteAI precision-2 disertakan sebagai layanan diarization komersial khusus yang paling jelas. Deepgram dan AssemblyAI disertakan karena pembeli sering membandingkannya saat mengevaluasi transcript dengan atribusi penutur, tetapi sel yang dimask tidak digunakan untuk ranking headline langsung.
Detail metodologi: DER dinilai dengan diarization error rate gaya pyannote.metrics, memakai fair collar, overlap scored, dan agregasi berbobot waktu corpus. Ekspor evaluasi riset Juli 2026 menggunakan baris benchmark VoicePing Diarization v0.1 dari snapshot Hugging Face voiceping-inc/titanet (titanet_finetuned.nemo), baseline NeMo Neural MSDD, pyannoteAI precision-2, serta output label penutur yang melekat pada transcript dari AssemblyAI dan Deepgram.
Hasil keseluruhan
| Sistem | File | DER | Peran | RTF |
|---|---|---|---|---|
| VoicePing Diarization v0.1 | 42 | 4.01% | Model diarization VoicePing | 0.024 |
| NeMo | 42 | 6.64% | Baseline NeMo Neural MSDD | 0.020 |
| pyannoteAI precision-2 | 42 | 8.55% | API diarization komersial khusus | 0.028 |
| AssemblyAI | 42 | xx | Label penutur melekat pada transcript | 0.049 |
| Deepgram | 41 | xx | Label penutur melekat pada transcript | 0.006 |
Headline yang bersih sederhana: VoicePing Diarization v0.1 memimpin benchmark terkontrol, diikuti NeMo, lalu pyannoteAI precision-2. API diarization khusus tetap cukup dekat untuk menjadi pembanding eksternal serius. Baris yang melekat pada transcript disertakan sebagai konteks, sementara perbandingan akurasi inti tetap VoicePing Diarization v0.1, NeMo, dan pyannoteAI precision-2.
Tampilan komponen mencakup kelima baris publik. VoicePing Diarization v0.1, NeMo, dan pyannoteAI precision-2 menampilkan label DER headline di samping segmen miss, false alarm, dan speaker-confusion. AssemblyAI dan Deepgram disertakan sebagai baris konteks speaker-attributed transcript dengan segmen komponen proporsional dan label masked DER.
Hasil berdasarkan bahasa
| Bahasa | VoicePing Diarization v0.1 | NeMo | pyannoteAI precision-2 | AssemblyAI | Deepgram |
|---|---|---|---|---|---|
| Inggris | 3.54% | 4.50% | 4.40% | 21.73% | 8.23% |
| Jepang | 3.79% | 7.30% | 10.87% | xx | 28.76% |
| Korea | 4.08% | 10.86% | 11.21% | xx | xx |
| Vietnam | 4.12% | 5.56% | 7.95% | xx | xx |
| Mandarin | 4.37% | 5.10% | 7.98% | 25.78% | 11.67% |
| Campuran, 5 bahasa | 3.50% | 7.53% | 16.54% | xx | xx |
| Campuran, 4 bahasa | 4.14% | 4.59% | 4.62% | xx | xx |
Secara bahasa, VoicePing Diarization v0.1 adalah baris terkuat di semua tujuh bucket bahasa dalam tabel publik ini. NeMo tetap menjadi baseline open yang berguna; baris ini memakai NeMo Neural MSDD. pyannoteAI precision-2 konsisten layak pakai di berbagai bahasa, tetapi tertinggal dari VoicePing Diarization v0.1 di setiap bucket di sini.
Baris API menceritakan hal berbeda. Deepgram dan AssemblyAI adalah referensi berguna untuk transcript dengan atribusi penutur, tetapi tabel publik menunjukkan mengapa keduanya tidak boleh disajikan sebagai pengganti diarization langsung untuk timeline penutur multibahasa.
Skenario dan temuan audio pendek
Tampilan skenario harus dibaca per segmen, bukan sebagai satu rata-rata seluruh suite. VoicePing Diarization v0.1 paling kuat pada bucket base 5 menit di DER 3.92%, tetap di mid-single digits pada audio 2 menit di 6.04%, audio 5 menit tanpa overlap di 5.93%, dan audio 30 menit dengan 7-9 penutur di 5.57%, lalu naik pada bucket rapat yang lebih sulit: 8.23% untuk 5 menit dengan overlap 30%, 8.69% untuk 5 menit dengan 7-9 penutur, dan 8.28% untuk audio 60 menit.
Untuk perencanaan produk, itu berarti kita harus memisahkan tiga pertanyaan. Pertama, pipeline diarization mana yang paling kuat untuk rapat penuh? Kedua, model embedding mana yang robust ketika tiap penutur hanya memiliki sedikit ucapan? Ketiga, bagaimana perilaku pipeline produksi penuh setelah refinement MSDD dan pencocokan identitas penutur? Post ini hanya menjawab bagian pertama pada lapisan segmentasi.
Kecepatan tetap menguntungkan untuk sistem lokal. Ekspor full-suite PC-54 melaporkan VoicePing Diarization v0.1 pada 0.024 RTF, dekat dengan NeMo pada 0.020 RTF dan pyannoteAI precision-2 pada 0.028 RTF. Timing API mencakup perilaku provider dan harus dibaca sebagai konteks operasional, bukan benchmark yang dinormalisasi hardware. Grafik kecepatan mempertahankan AssemblyAI dan Deepgram sebagai konteks API masked DER agar perbandingan timing tetap fokus pada konteks operasi.
API yang melekat pada transcript: berguna, tetapi berbeda
Deepgram dan AssemblyAI menempelkan label penutur pada output transcription. Ini berguna saat pengguna membutuhkan transcript dengan atribusi penutur, tetapi tidak sama dengan melakukan diarization atas seluruh timeline audio. Jika ucapan tidak ditranskripsi, atau transcript tidak stabil dalam suatu bahasa, timeline penutur ikut mewarisi batasan itu.
AssemblyAI berperilaku lebih akustik daripada Deepgram, tetapi beberapa baris masih dimask dalam tabel publik. Dalam artikel ini, kedua provider tetap berada di metodologi, tampilan keseluruhan, dan tampilan bahasa karena keduanya adalah referensi umum dalam jalur pembelian, bukan karena merupakan kompetitor diarization terkuat.
Apa artinya bagi VoicePing
Artikel ini menyajikan hasil benchmark VoicePing yang dipilih sebagai VoicePing Diarization v0.1. Ini membuat cerita fokus pada identitas model yang menghadap pelanggan, bukan nama eksperimen internal. VoicePing Diarization v0.1 memimpin benchmark, dan pembanding serius yang perlu dipantau adalah pyannoteAI precision-2.
Itu tidak mengurangi pentingnya diagnosis internal yang berkelanjutan. Diarization produksi hanya satu tahap: alignment transcript, segmentasi penutur, lalu pencocokan identitas penutur terhadap suara workspace yang dikenal. Tahap terakhir mengubah label anonim menjadi nama kolega yang sama lintas rapat, yang tidak disediakan API dalam benchmark ini. Follow-up publik berikutnya harus mengevaluasi pipeline produksi penuh, bukan hanya baris segmentasi terisolasi ini.
Karena itu, artikel ini juga menghindari menerbitkan anekdot short-clip yang belum stabil sebagai rasio. File pendek dapat mengekspos failure mode nyata, tetapi perlu acceptance test terpisah dengan cukup contoh agar cerita tidak overfit pada satu skenario. Pertanyaan produksi bukan hanya apakah segmenter menang pada corpus terkontrol; pertanyaannya adalah apakah pengguna secara konsisten melihat nama penutur yang benar, giliran bicara stabil, dan transcript yang berguna di live meeting, panggilan unggahan, dan voice snippet pendek.
Batasan dan kesimpulan
Batasan utama adalah set evaluasi. Percakapan sintetis memberi referensi yang tepat, tetapi lebih bersih daripada rapat nyata dan berasal dari domain yang terkait dengan data pelatihan kami. Timeline juga hampir berisi speech dari awal sampai akhir, sehingga perilaku false-alarm belum cukup ditekan. Set multi-penutur nyata di luar domain, termasuk rekaman overlap yang lebih sulit, masih diperlukan sebelum membuat klaim produksi final.
Dalam batasan tersebut, kesimpulan utamanya adalah: VoicePing Diarization v0.1 memimpin benchmark 42 file, pyannoteAI precision-2 adalah baris API komersial khusus yang perlu dipantau, dan produk speaker-attributed transcript harus tetap menjadi referensi kualitatif di tempat sel dimask. Pekerjaan berikutnya perlu fokus pada identitas model produksi, perilaku audio pendek, dan benchmark pipeline produksi end-to-end.
