VoicePing Diarization v0.1 को परिचय

VoicePing Diarization v0.1 को परिचय

VoicePing Diarization v0.1 हाम्रो पहिलो सार्वजनिक diarization model release हो। यो बहुभाषी meeting हरूका लागि speaker segmentation model हो, जसले downstream speaker identity matching अघि को व्यक्ति कहिले बोलेको हो भनेर चिन्ने उद्देश्य राख्छ।

यो लेखले जुलाई 2026 मा गरिएको 42-file multilingual benchmark मार्फत model प्रस्तुत गर्छ। NeMo, pyannoteAI precision-2, AssemblyAI र Deepgram लाई evaluation context का रूपमा समावेश गरिएको छ, ताकि पाठकले VoicePing Diarization v0.1 परिचित open र commercial speaker-labeling options सँग तुलना गर्दा कहाँ छ भनेर बुझ्न सकून्।

एउटा caveat महत्त्वपूर्ण छ: VoicePing Diarization v0.1 चयन गरिएको benchmark row को public model identity हो, live production registry check होइन। Production model selection runtime configuration बाट control हुन्छ, र production मा यो diarization-only benchmark भन्दा बाहिर downstream speaker identity matching पनि समावेश हुन्छ।

Evaluation setup

benchmark मा 42 files र करिब 10.5 hours audio छन्: English, Japanese, Korean, Vietnamese र Mandarin का पाँच monolingual sets, साथै code-switched multilingual files दुईवटा। Scenarios 30 seconds देखि 1 hour सम्म छन्, 2-9 speakers र 0-30% overlapping speech सहित।

यी files real single-speaker recordings जोडेर बनाइएका synthetic conversations हुन्। यसले exact reference labels र repeatable scoring दिन्छ, तर धेरै real meetings भन्दा सफा छ। Results लाई controlled benchmark का रूपमा हेर्नुपर्छ, out-of-domain meeting evaluation को replacement का रूपमा होइन।

evaluation set raw internal export भन्दा जानाजानी साँघुरो छ। NeMo मुख्य local open baseline का रूपमा समावेश छ, rerun artifacts बाट NeMo Neural MSDD result प्रयोग गर्दै। pyannoteAI precision-2 सबैभन्दा स्पष्ट dedicated commercial diarization service का रूपमा समावेश छ। Deepgram र AssemblyAI खरीदारहरूले speaker-attributed transcript evaluations मा बारम्बार तुलना गर्ने भएकाले समावेश छन्, तर masked cells direct headline ranking का लागि प्रयोग हुँदैनन्।

Methodology details: DER pyannote.metrics-style diarization error rate बाट score गरियो, fair collar, overlap scored, र corpus time-weighted aggregation प्रयोग गर्दै। July 2026 research evaluation export ले voiceping-inc/titanet Hugging Face snapshot (titanet_finetuned.nemo) बाट VoicePing Diarization v0.1 benchmark row, NeMo Neural MSDD baseline, pyannoteAI precision-2, र AssemblyAI तथा Deepgram बाट speaker-attributed transcript speaker-label outputs प्रयोग गर्‍यो।

Overall results

सफा headline सरल छ: controlled benchmark मा VoicePing Diarization v0.1 अगाडि छ, त्यसपछि NeMo, अनि pyannoteAI precision-2। dedicated diarization API गम्भीर external comparison हुन पर्याप्त नजिक छ। speaker-attributed transcript rows context का लागि राखिएका छन्, तर core accuracy comparison VoicePing Diarization v0.1, NeMo र pyannoteAI precision-2 बीच नै रहन्छ।

component view मा पाँचै public rows समावेश छन्। VoicePing Diarization v0.1, NeMo र pyannoteAI precision-2 ले miss, false alarm र speaker-confusion segments नजिक headline DER labels देखाउँछन्। AssemblyAI र Deepgram proportional component segments र masked DER labels सहित speaker-attributed transcript context rows का रूपमा समावेश छन्।

Language-wise results

language-wise, यो public table का सातै language buckets मा VoicePing Diarization v0.1 सबैभन्दा बलियो row हो। NeMo अझै उपयोगी open baseline हो; यो row NeMo Neural MSDD प्रयोग गर्छ। pyannoteAI precision-2 languages भर consistently viable छ, तर यहाँ हरेक bucket मा VoicePing Diarization v0.1 भन्दा पछि छ।

API rows ले फरक कथा भन्छन्। Deepgram र AssemblyAI speaker-attributed transcripts का लागि उपयोगी references हुन्, तर public table ले तिनलाई multilingual speaker timelines का लागि direct diarization replacements का रूपमा प्रस्तुत गर्नु हुँदैन भनेर देखाउँछ।

Scenario र short-audio takeaways

scenario view लाई single suite-level average होइन, segment by segment पढ्नुपर्छ। VoicePing Diarization v0.1 5-minute base bucket मा 3.92% DER सहित सबैभन्दा बलियो छ, 2-minute audio मा 6.04%, 5-minute no-overlap audio मा 5.93%, र 30-minute 7-9 speaker audio मा 5.57% मा mid-single digits राख्छ। त्यसपछि कठिन meeting buckets मा बढ्छ: 30% overlap भएको 5 minutes मा 8.23%, 7-9 speakers भएको 5 minutes मा 8.69%, र 60-minute audio मा 8.28%।

product planning का लागि तीन प्रश्न अलग गर्नुपर्छ। पहिलो, full meetings का लागि कुन diarization pipeline सबैभन्दा बलियो छ? दोस्रो, प्रत्येक speaker सँग speech कम हुँदा कुन embedding model robust छ? तेस्रो, MSDD refinement र speaker identity matching पछि full production pipeline कस्तो व्यवहार गर्छ? यो post segmentation layer मा पहिलो भागको मात्र उत्तर दिन्छ।

local systems का लागि speed favorable रहन्छ। PC-54 full-suite export ले VoicePing Diarization v0.1 लाई 0.024 RTF, NeMo लाई 0.020 RTF, र pyannoteAI precision-2 लाई 0.028 RTF report गर्छ। API timings मा provider behavior समावेश हुन्छ, त्यसैले hardware-normalized benchmark होइन operational context का रूपमा पढ्नुपर्छ। speed chart ले AssemblyAI र Deepgram लाई masked DER operational context का रूपमा राख्छ, ताकि timing comparison operating context मा केन्द्रित रहोस्।

speaker-attributed transcript APIs: उपयोगी, तर फरक

Deepgram र AssemblyAI transcription output मा speaker labels जोड्छन्। user लाई speaker-attributed transcript चाहिँदा यो उपयोगी हुन्छ, तर यो full audio timeline diarize गर्नु जस्तै होइन। यदि speech transcribed हुँदैन वा कुनै language मा transcript unstable छ भने speaker timeline ले पनि त्यो limitation inherit गर्छ।

AssemblyAI Deepgram भन्दा बढी acoustically behave गर्छ, तर public table मा केही rows अझै masked छन्। यस article मा दुवै providers methodology, overall view र language views मा रहन्छन् किनकि ती common buying-path references हुन्, strongest diarization competitors भएकाले होइन।

VoicePing का लागि अर्थ

यो article ले selected VoicePing benchmark result लाई VoicePing Diarization v0.1 का रूपमा प्रस्तुत गर्छ। यसले story लाई internal experiment names भन्दा customer-facing model identity मा केन्द्रित राख्छ। VoicePing Diarization v0.1 benchmark मा अगाडि छ, र watch गर्नुपर्ने serious comparison pyannoteAI precision-2 हो।

यसले continued internal diagnosis को महत्त्व घटाउँदैन। Production diarization एउटा stage मात्र हो: transcript alignment, speaker segmentation, अनि known workspace voices विरुद्ध speaker identity matching। अन्तिम stage ले anonymous labels लाई meetings भरि एउटै colleague name मा बदल्छ, जुन benchmarked APIs ले दिदैनन्। अर्को public follow-up ले यो isolated segmentation row मात्र होइन, full production pipeline evaluate गर्नुपर्छ।

यसैले article ले unstable short-clip anecdotes लाई ratios का रूपमा publish गर्नबाट बचाउँछ। Short files ले real failure modes देखाउन सक्छन्, तर story एक scenario मा overfit नहोस् भन्न पर्याप्त examples भएको separate acceptance test चाहिन्छ। production question segmenter ले controlled corpus जित्छ कि जित्दैन मात्र होइन; users ले live meetings, uploaded calls र short voice snippets भरि correct speaker names, stable turns र useful transcripts consistently देख्छन् कि देख्दैनन् भन्ने हो।

Limitations र conclusion

मुख्य limitation evaluation set हो। Synthetic conversations ले exact references दिन्छ, तर real meetings भन्दा सफा छ र हाम्रो training data सँग सम्बन्धित domain बाट आउँछ। timeline पनि wall-to-wall speech नजिक छ, त्यसैले false-alarm behavior पर्याप्त stress गरिएको छैन। final production claims अघि harder overlapping-speech recordings सहित real out-of-domain multi-speaker set अझै आवश्यक छ।

यी limits भित्र main conclusion यस्तो छ: VoicePing Diarization v0.1 ले 42-file benchmark मा नेतृत्व गर्छ, pyannoteAI precision-2 हेर्नुपर्ने dedicated commercial API row हो, र masked cells भएको ठाउँमा speaker-attributed transcript products qualitative references रहनुपर्छ। अर्को काम production model identity, short-audio behavior र end-to-end production pipeline benchmark मा केन्द्रित हुनुपर्छ।