VoicePing Diarization v0.1 ကိုမိတ်ဆက်ခြင်း

VoicePing Diarization v0.1 ကိုမိတ်ဆက်ခြင်း

VoicePing Diarization v0.1 သည် ကျွန်ုပ်တို့၏ ပထမဆုံး public diarization model release ဖြစ်သည်။ ဘာသာစကားများစွာပါသော meeting များတွင် ဘယ်သူက ဘယ်အချိန်ပြောသည်ကို ခွဲခြားရန် speaker segmentation model အဖြစ် ဒီဇိုင်းလုပ်ထားပြီး downstream speaker identity matching မတိုင်မီ အသုံးပြုသည်။

ဤဆောင်းပါးတွင် 2026 ဇူလိုင်လတွင် ပြုလုပ်ထားသော 42-file multilingual benchmark မှတစ်ဆင့် model ကိုမိတ်ဆက်ထားသည်။ NeMo၊ pyannoteAI precision-2၊ AssemblyAI နှင့် Deepgram ကို evaluation context အဖြစ်ထည့်ထားသောကြောင့် VoicePing Diarization v0.1 သည် open နှင့် commercial speaker-labeling options များနှင့် နှိုင်းယှဉ်လျှင် ဘယ်နေရာတွင်ရှိသည်ကို ဖတ်သူများ နားလည်နိုင်သည်။

သတိထားရမည့်အချက်တစ်ခုရှိသည်။ VoicePing Diarization v0.1 သည် ရွေးထားသော benchmark row အတွက် public model identity ဖြစ်ပြီး live production registry check မဟုတ်ပါ။ Production model selection ကို runtime configuration ဖြင့်ထိန်းချုပ်ထားပြီး production တွင် ဤ diarization-only benchmark အပြင် downstream speaker identity matching လည်းပါဝင်သည်။

Evaluation setup

benchmark တွင် file 42 ခုနှင့် audio 10.5 နာရီခန့်ပါဝင်သည်။ English၊ Japanese၊ Korean၊ Vietnamese၊ Mandarin ဟူသော monolingual set 5 ခုနှင့် code-switched multilingual file 2 ခုပါဝင်သည်။ Scenario များသည် 30 seconds မှ 1 hour အထိရှိပြီး speaker 2-9 ယောက်နှင့် overlapping speech 0-30% ပါဝင်သည်။

ဤ files များသည် real single-speaker recordings များကို ဆက်စပ်ထားသော synthetic conversations ဖြစ်သည်။ ထို့ကြောင့် exact reference labels နှင့် repeatable scoring ရနိုင်သော်လည်း real meetings များစွာထက် ပိုသန့်ရှင်းသည်။ ထို့ကြောင့် results ကို controlled benchmark အဖြစ်ဖတ်သင့်ပြီး out-of-domain meeting evaluation ကို အစားထိုးရာအဖြစ် မဖတ်သင့်ပါ။

evaluation set သည် raw internal export ထက် ရည်ရွယ်ချက်ရှိရှိ ပိုကျဉ်းသည်။ NeMo ကို main local open baseline အဖြစ်ထည့်ပြီး rerun artifacts မှ NeMo Neural MSDD result ကိုသုံးထားသည်။ pyannoteAI precision-2 ကို အရှင်းဆုံး dedicated commercial diarization service အဖြစ်ထည့်ထားသည်။ Deepgram နှင့် AssemblyAI ကို speaker-attributed transcript evaluations တွင် buyers များ မကြာခဏနှိုင်းယှဉ်သောကြောင့် ထည့်ထားသော်လည်း masked cells များကို direct headline ranking အတွက် မသုံးထားပါ။

Methodology details: DER ကို pyannote.metrics-style diarization error rate ဖြင့် score လုပ်ခဲ့ပြီး fair collar၊ overlap scored နှင့် corpus time-weighted aggregation သုံးထားသည်။ 2026 ဇူလိုင် research evaluation export သည် voiceping-inc/titanet Hugging Face snapshot (titanet_finetuned.nemo) မှ VoicePing Diarization v0.1 benchmark row၊ NeMo Neural MSDD baseline၊ pyannoteAI precision-2 နှင့် AssemblyAI/Deepgram မှ speaker-attributed transcript speaker-label outputs များကိုသုံးခဲ့သည်။

Overall results

အဓိက headline သည် ရိုးရှင်းသည်။ controlled benchmark တွင် VoicePing Diarization v0.1 က ဦးဆောင်ပြီး NeMo နှင့် pyannoteAI precision-2 တို့နောက်လိုက်သည်။ dedicated diarization API သည် serious external comparison ဖြစ်ရန် လုံလောက်စွာနီးကပ်သည်။ speaker-attributed transcript rows များကို context အဖြစ်ထည့်ထားသော်လည်း core accuracy comparison သည် VoicePing Diarization v0.1၊ NeMo နှင့် pyannoteAI precision-2 အကြားဖြစ်သည်။

component view တွင် public rows 5 ခုလုံးပါဝင်သည်။ VoicePing Diarization v0.1၊ NeMo နှင့် pyannoteAI precision-2 တို့သည် miss၊ false alarm၊ speaker-confusion segments များဘေးတွင် headline DER labels ပြထားသည်။ AssemblyAI နှင့် Deepgram ကို speaker-attributed transcript context rows အဖြစ် proportional component segments နှင့် masked DER labels ဖြင့်ထည့်ထားသည်။

Language-wise results

ဘာသာစကားအလိုက် ကြည့်လျှင် ဤ public table ရှိ language bucket 7 ခုလုံးတွင် VoicePing Diarization v0.1 သည် အကောင်းဆုံး row ဖြစ်သည်။ NeMo သည် useful open baseline အဖြစ် ဆက်ရှိနေပြီး ဤ row သည် NeMo Neural MSDD ကိုသုံးထားသည်။ pyannoteAI precision-2 သည် languages အနှံ့ viable ဖြစ်သော်လည်း ဤနေရာတွင် bucket အားလုံးတွင် VoicePing Diarization v0.1 ထက်နောက်ကျသည်။

API rows များသည် မတူသောအကြောင်းအရာကိုပြသည်။ Deepgram နှင့် AssemblyAI သည် speaker-attributed transcripts အတွက် useful references ဖြစ်သော်လည်း public table သည် ၎င်းတို့ကို multilingual speaker timelines အတွက် direct diarization replacement အဖြစ် မပြသသင့်ကြောင်းပြသည်။

Scenario နှင့် short-audio takeaways

scenario view ကို single suite-level average အဖြစ်မဖတ်ဘဲ segment by segment ဖတ်သင့်သည်။ VoicePing Diarization v0.1 သည် 5-minute base bucket တွင် 3.92% DER ဖြင့် အကောင်းဆုံးဖြစ်ပြီး 2-minute audio တွင် 6.04%၊ 5-minute no-overlap audio တွင် 5.93%၊ 30-minute 7-9 speaker audio တွင် 5.57% ဖြင့် mid-single digits ထဲတွင်ရှိသည်။ ထို့နောက် ပိုခက်သော meeting buckets တွင် 30% overlap ပါသော 5 minutes အတွက် 8.23%၊ 7-9 speakers ပါသော 5 minutes အတွက် 8.69%၊ 60-minute audio အတွက် 8.28% သို့တိုးသည်။

product planning အတွက် မေးခွန်း 3 ခုကိုခွဲရမည်။ ပထမ၊ full meetings အတွက် မည်သည့် diarization pipeline က အကောင်းဆုံးလဲ။ ဒုတိယ၊ speaker တစ်ယောက်စီတွင် speech နည်းသောအခါ မည်သည့် embedding model က robust လဲ။ တတိယ၊ MSDD refinement နှင့် speaker identity matching ပြီးနောက် full production pipeline က မည်သို့ပြုမူသလဲ။ ဤ post သည် segmentation layer ရှိ ပထမပိုင်းကိုသာဖြေသည်။

local systems များအတွက် speed သည် favorable ဖြစ်နေဆဲဖြစ်သည်။ PC-54 full-suite export သည် VoicePing Diarization v0.1 ကို 0.024 RTF၊ NeMo ကို 0.020 RTF၊ pyannoteAI precision-2 ကို 0.028 RTF ဟု report လုပ်ထားသည်။ API timings များတွင် provider behavior ပါဝင်သောကြောင့် hardware-normalized benchmark မဟုတ်ဘဲ operational context အဖြစ်ဖတ်သင့်သည်။ speed chart သည် AssemblyAI နှင့် Deepgram ကို masked DER operational context အဖြစ်ထားကာ timing comparison ကို operating context ပေါ်တွင်ထားသည်။

speaker-attributed transcript APIs: အသုံးဝင်သော်လည်း မတူပါ

Deepgram နှင့် AssemblyAI သည် transcription output တွင် speaker labels ထည့်သည်။ user သည် speaker-attributed transcript လိုအပ်လျှင် အသုံးဝင်သော်လည်း full audio timeline ကို diarize လုပ်ခြင်းနှင့် မတူပါ။ speech မ transcribe ဖြစ်ပါက၊ သို့မဟုတ် language တစ်ခုတွင် transcript မတည်ငြိမ်ပါက speaker timeline သည် ထို limitation ကိုလက်ခံရမည်။

AssemblyAI သည် Deepgram ထက် acoustic ပိုဆန်သော်လည်း public table တွင် rows အချို့ကို mask ထားဆဲဖြစ်သည်။ ဤ article တွင် provider နှစ်ခုလုံးကို methodology၊ overall view နှင့် language views တွင်ထားထားခြင်းသည် common buying-path references ဖြစ်သောကြောင့်ဖြစ်ပြီး strongest diarization competitors ဖြစ်သောကြောင့်မဟုတ်ပါ။

VoicePing အတွက် အဓိပ္ပါယ်

ဤ article သည် ရွေးထားသော VoicePing benchmark result ကို VoicePing Diarization v0.1 အဖြစ်တင်ပြသည်။ ထို့ကြောင့် story သည် internal experiment names မဟုတ်ဘဲ customer-facing model identity ပေါ်တွင် focus ဖြစ်သည်။ VoicePing Diarization v0.1 သည် benchmark တွင် ဦးဆောင်ပြီး serious comparison to watch သည် pyannoteAI precision-2 ဖြစ်သည်။

ထိုအချက်သည် continued internal diagnosis ၏ အရေးပါမှုကို လျှော့မထားပါ။ Production diarization သည် stage တစ်ခုသာဖြစ်သည်: transcript alignment၊ speaker segmentation၊ ထို့နောက် known workspace voices များနှင့် speaker identity matching ဖြစ်သည်။ နောက်ဆုံး stage သည် anonymous labels များကို meetings အနှံ့ တူညီသော colleague name အဖြစ်ပြောင်းပေးပြီး benchmarked APIs များသည် ဤအရာကိုမပေးပါ။ နောက် public follow-up တွင် isolated segmentation row တစ်ခုတည်းမဟုတ်ဘဲ full production pipeline ကို evaluate သင့်သည်။

ထို့ကြောင့် article သည် unstable short-clip anecdotes များကို ratios အဖြစ်မထုတ်ပြန်ပါ။ Short files များသည် real failure modes ပြနိုင်သော်လည်း story ကို scenario တစ်ခုတည်းသို့ overfit မဖြစ်စေရန် examples လုံလောက်သော acceptance test သီးခြားလိုသည်။ production question သည် segmenter က controlled corpus တွင်အနိုင်ရလားဆိုတာသာမဟုတ်ဘဲ users များသည် live meetings၊ uploaded calls နှင့် short voice snippets အနှံ့ correct speaker names၊ stable turns နှင့် useful transcripts ကို consistent မြင်ရလားဆိုတာဖြစ်သည်။

Limitations နှင့် conclusion

အဓိက limitation သည် evaluation set ဖြစ်သည်။ Synthetic conversations များသည် exact references ပေးသော်လည်း real meetings ထက်သန့်ရှင်းပြီး ကျွန်ုပ်တို့၏ training data နှင့်ဆက်စပ်သော domain မှလာသည်။ timeline သည် wall-to-wall speech နှင့်နီးသောကြောင့် false-alarm behavior ကိုလုံလောက်စွာ stress မလုပ်နိုင်သေးပါ။ final production claims မလုပ်မီ harder overlapping-speech recordings ပါသော real out-of-domain multi-speaker set လိုအပ်နေဆဲဖြစ်သည်။

ထို limits အတွင်း main conclusion သည်: VoicePing Diarization v0.1 သည် 42-file benchmark တွင် ဦးဆောင်သည်၊ pyannoteAI precision-2 သည် စောင့်ကြည့်ရမည့် dedicated commercial API row ဖြစ်သည်၊ masked cells ရှိသောနေရာများတွင် speaker-attributed transcript products များကို qualitative references အဖြစ်ထားသင့်သည်။ နောက်အလုပ်သည် production model identity၊ short-audio behavior နှင့် end-to-end production pipeline benchmark ကို focus လုပ်သင့်သည်။