VoicePing Diarization v0.1 का परिचय

VoicePing Diarization v0.1 का परिचय

VoicePing Diarization v0.1 हमारा पहला public diarization model release है। यह multilingual meetings के लिए speaker segmentation model है, जिसे downstream speaker identity matching से पहले यह पहचानने के लिए बनाया गया है कि कौन कब बोल रहा था।

यह लेख July 2026 के 42-file multilingual benchmark के माध्यम से model को प्रस्तुत करता है। NeMo, pyannoteAI precision-2, AssemblyAI और Deepgram को evaluation context के रूप में शामिल किया गया है, ताकि readers समझ सकें कि VoicePing Diarization v0.1 familiar open और commercial speaker-labeling options के मुकाबले कहाँ खड़ा है।

एक caveat महत्त्वपूर्ण है: VoicePing Diarization v0.1 selected benchmark row की public model identity है, live production registry check नहीं। Production model selection runtime configuration से control होता है, और production में इस diarization-only benchmark से बाहर downstream speaker identity matching भी शामिल है।

Evaluation setup

benchmark में 42 files और लगभग 10.5 घंटे audio हैं: English, Japanese, Korean, Vietnamese और Mandarin के पाँच monolingual sets, साथ में दो code-switched multilingual files। Scenarios 30 seconds से 1 hour तक हैं, जिनमें 2-9 speakers और 0-30% overlapping speech शामिल है।

ये files real single-speaker recordings को जोड़कर बनाई गई synthetic conversations हैं। इससे exact reference labels और repeatable scoring मिलती है, लेकिन यह कई real meetings से साफ है। Results को controlled benchmark की तरह पढ़ना चाहिए, out-of-domain meeting evaluation के replacement की तरह नहीं।

evaluation set raw internal export से जानबूझकर संकरा है। NeMo को main local open baseline के रूप में शामिल किया गया है, rerun artifacts से NeMo Neural MSDD result का उपयोग करते हुए। pyannoteAI precision-2 सबसे स्पष्ट dedicated commercial diarization service के रूप में शामिल है। Deepgram और AssemblyAI इसलिए शामिल हैं क्योंकि buyers speaker-attributed transcript evaluations में उन्हें अक्सर compare करते हैं, लेकिन masked cells direct headline ranking में इस्तेमाल नहीं होते।

Methodology details: DER को pyannote.metrics-style diarization error rate से score किया गया, fair collar, overlap scored, और corpus time-weighted aggregation के साथ। July 2026 research evaluation export ने voiceping-inc/titanet Hugging Face snapshot (titanet_finetuned.nemo) से VoicePing Diarization v0.1 benchmark row, NeMo Neural MSDD baseline, pyannoteAI precision-2, और AssemblyAI तथा Deepgram से speaker-attributed transcript speaker-label outputs इस्तेमाल किए।

Overall results

साफ headline सरल है: controlled benchmark में VoicePing Diarization v0.1 आगे है, उसके बाद NeMo और फिर pyannoteAI precision-2 है। dedicated diarization API इतना करीब है कि उसे serious external comparison माना जाना चाहिए। speaker-attributed transcript rows context के लिए शामिल हैं, जबकि core accuracy comparison VoicePing Diarization v0.1, NeMo और pyannoteAI precision-2 के बीच रहता है।

component view सभी पाँच public rows को शामिल करता है। VoicePing Diarization v0.1, NeMo और pyannoteAI precision-2 अपने headline DER labels को miss, false alarm और speaker-confusion segments के पास दिखाते हैं। AssemblyAI और Deepgram speaker-attributed transcript context rows के रूप में proportional component segments और masked DER labels के साथ शामिल हैं।

Language-wise results

language-wise, इस public table के सभी सात language buckets में VoicePing Diarization v0.1 सबसे मजबूत row है। NeMo एक उपयोगी open baseline बना रहता है; यह row NeMo Neural MSDD का उपयोग करती है। pyannoteAI precision-2 languages में consistently viable है, लेकिन यहाँ हर bucket में VoicePing Diarization v0.1 से पीछे है।

API rows अलग कहानी बताते हैं। Deepgram और AssemblyAI speaker-attributed transcripts के लिए उपयोगी references हैं, लेकिन public table दिखाता है कि इन्हें multilingual speaker timelines के direct diarization replacements की तरह प्रस्तुत नहीं करना चाहिए।

Scenario और short-audio takeaways

scenario view को segment by segment पढ़ना चाहिए, single suite-level average की तरह नहीं। VoicePing Diarization v0.1 5-minute base bucket पर 3.92% DER के साथ सबसे मजबूत है, 2-minute audio पर 6.04%, 5-minute no-overlap audio पर 5.93%, और 30-minute 7-9 speaker audio पर 5.57% पर mid-single digits में रहता है। फिर harder meeting buckets में बढ़ता है: 30% overlap वाले 5 minutes पर 8.23%, 7-9 speakers वाले 5 minutes पर 8.69%, और 60-minute audio पर 8.28%।

product planning के लिए, हमें तीन questions अलग करने चाहिए। First, full meetings के लिए कौन सा diarization pipeline strongest है? Second, जब हर speaker के पास कम speech हो तो कौन सा embedding model robust है? Third, MSDD refinement और speaker identity matching के बाद full production pipeline कैसा behave करता है? यह post segmentation layer पर सिर्फ पहले part का जवाब देता है।

local systems के लिए speed favorable रहती है। PC-54 full-suite export VoicePing Diarization v0.1 को 0.024 RTF, NeMo को 0.020 RTF और pyannoteAI precision-2 को 0.028 RTF report करता है। API timings provider behavior को शामिल करती हैं और इन्हें hardware-normalized benchmark नहीं, operational context के रूप में पढ़ना चाहिए। speed chart AssemblyAI और Deepgram को masked DER operational context के रूप में रखता है ताकि timing comparison operating context पर केंद्रित रहे।

speaker-attributed transcript APIs: उपयोगी, लेकिन अलग

Deepgram और AssemblyAI transcription output में speaker labels जोड़ते हैं। जब user को speaker-attributed transcript चाहिए, यह उपयोगी है, लेकिन यह full audio timeline को diarize करने जैसा नहीं है। अगर speech transcribed नहीं होती या किसी language में transcript unstable है, तो speaker timeline भी वही limitation inherit करती है।

AssemblyAI, Deepgram की तुलना में अधिक acoustically behave करता है, लेकिन public table में कुछ rows अभी भी masked हैं। इस article में दोनों providers methodology, overall view और language views में रहते हैं क्योंकि वे common buying-path references हैं, न कि इसलिए कि वे strongest diarization competitors हैं।

VoicePing के लिए इसका अर्थ

यह article selected VoicePing benchmark result को VoicePing Diarization v0.1 के रूप में प्रस्तुत करता है। इससे story internal experiment names की जगह customer-facing model identity पर केंद्रित रहती है। VoicePing Diarization v0.1 benchmark में आगे है, और serious comparison to watch pyannoteAI precision-2 है।

इससे continued internal diagnosis का महत्व कम नहीं होता। Production diarization सिर्फ एक stage है: transcript alignment, speaker segmentation, और फिर known workspace voices के विरुद्ध speaker identity matching। अंतिम stage anonymous labels को meetings के across उसी colleague name में बदलता है, जो benchmarked APIs provide नहीं करते। अगला public follow-up full production pipeline को evaluate करना चाहिए, सिर्फ इस isolated segmentation row को नहीं।

इसीलिए article unstable short-clip anecdotes को ratios के रूप में publish करने से बचता है। Short files real failure modes दिखा सकती हैं, लेकिन story को एक scenario पर overfit होने से बचाने के लिए पर्याप्त examples वाला अलग acceptance test चाहिए। production question केवल यह नहीं है कि segmenter controlled corpus जीतता है या नहीं; question यह है कि users live meetings, uploaded calls और short voice snippets में consistently सही speaker names, stable turns और useful transcripts देखते हैं या नहीं।

Limitations और conclusion

मुख्य limitation evaluation set है। Synthetic conversations exact references देती हैं, लेकिन real meetings से साफ हैं और हमारे training data से जुड़े domain से आती हैं। timeline भी wall-to-wall speech के करीब है, इसलिए false-alarm behavior पर पर्याप्त stress नहीं पड़ता। final production claims से पहले harder overlapping-speech recordings सहित real out-of-domain multi-speaker set अभी भी जरूरी है।

इन limits में मुख्य conclusion है: VoicePing Diarization v0.1 42-file benchmark में आगे है, pyannoteAI precision-2 देखने लायक dedicated commercial API row है, और जहाँ masked cells हैं वहाँ speaker-attributed transcript products को qualitative references रहना चाहिए। अगला काम production model identity, short-audio behavior और end-to-end production pipeline benchmark पर केंद्रित होना चाहिए।