VoicePing Diarization v0.1, 42 dosyalık benchmark üzerinde NeMo, pyannoteAI precision-2, AssemblyAI ve Deepgram ile değerlendirilen çok dilli bir konuşmacı ayrıştırma modelidir.
VoicePing Diarization v0.1’i Tanıtıyoruz
VoicePing Diarization v0.1, ilk herkese açık diarization model sürümümüzdür: çok dilli toplantılarda kimin ne zaman konuştuğunu belirlemek ve sonraki konuşmacı kimliği eşlemesine temel oluşturmak için tasarlanmış bir konuşmacı segmentasyon modelidir.
Bu yazı, modeli Temmuz 2026’da yapılan 42 dosyalık çok dilli benchmark üzerinden tanıtır. NeMo, pyannoteAI precision-2, AssemblyAI ve Deepgram da değerlendirme bağlamına dahil edilmiştir; böylece okuyucular VoicePing Diarization v0.1’in bilinen açık ve ticari konuşmacı etiketleme seçeneklerine göre nerede durduğunu görebilir.
Önemli bir not var: VoicePing Diarization v0.1, seçilen benchmark satırının herkese açık model kimliğidir; canlı production registry kontrolü değildir. Production model seçimi runtime configuration ile yönetilir ve production ayrıca bu yalnızca diarization odaklı benchmark dışında downstream konuşmacı kimliği eşlemesi içerir.
Değerlendirme kurulumu
Benchmark 42 dosya ve yaklaşık 10,5 saat sesten oluşur: İngilizce, Japonca, Korece, Vietnamca ve Mandarin için beş tek dilli set, ayrıca code-switching içeren iki çok dilli dosya. Senaryolar 30 saniyeden 1 saate kadar uzanır; 2-9 konuşmacı ve 0-30% örtüşen konuşma içerir.
Dosyalar, gerçek tek konuşmacı kayıtlarından birleştirilmiş sentetik konuşmalardır. Bu, kesin referans etiketleri ve tekrarlanabilir scoring sağlar, ancak birçok gerçek toplantıdan daha temizdir. Sonuçlar kontrollü benchmark olarak okunmalı, domain dışı toplantı değerlendirmesinin yerine geçmemelidir.
Değerlendirme seti, ham internal export’tan bilinçli olarak daha dardır. NeMo, ana local open baseline olarak dahil edilmiştir ve rerun artifact’larından NeMo Neural MSDD sonucu kullanılmıştır. pyannoteAI precision-2, en net dedicated commercial diarization service olarak yer alır. Deepgram ve AssemblyAI, alıcılar speaker-attributed transcript değerlendirmelerinde bunları sık karşılaştırdığı için dahil edilmiştir; ancak maskelenmiş hücreler doğrudan headline ranking için kullanılmaz.
Metodoloji ayrıntıları: DER, pyannote.metrics tarzı diarization error rate ile, fair collar, overlap scored ve corpus time-weighted aggregation kullanılarak hesaplandı. Temmuz 2026 araştırma export’u, voiceping-inc/titanet Hugging Face snapshot’ından (titanet_finetuned.nemo) VoicePing Diarization v0.1 benchmark satırını, NeMo Neural MSDD baseline’ını, pyannoteAI precision-2’yi ve AssemblyAI ile Deepgram’dan speaker-attributed transcript speaker-label output’larını kullandı.
Genel sonuçlar
| Sistem | Dosya | DER | Rol | RTF |
|---|---|---|---|---|
| VoicePing Diarization v0.1 | 42 | 4.01% | VoicePing diarization modeli | 0.024 |
| NeMo | 42 | 6.64% | NeMo Neural MSDD baseline | 0.020 |
| pyannoteAI precision-2 | 42 | 8.55% | Dedicated commercial diarization API | 0.028 |
| AssemblyAI | 42 | xx | speaker-attributed transcript konuşmacı etiketleri | 0.049 |
| Deepgram | 41 | xx | speaker-attributed transcript konuşmacı etiketleri | 0.006 |
Temiz headline basit: VoicePing Diarization v0.1 kontrollü benchmark’ta önde, ardından NeMo ve pyannoteAI precision-2 geliyor. Dedicated diarization API, ciddi external comparison olmak için yeterince yakın kalıyor. speaker-attributed transcript satırlar bağlam olarak yer alıyor; temel accuracy comparison ise VoicePing Diarization v0.1, NeMo ve pyannoteAI precision-2 arasında kalıyor.
Component view beş public satırın tamamını içerir. VoicePing Diarization v0.1, NeMo ve pyannoteAI precision-2, headline DER etiketlerini miss, false alarm ve speaker-confusion segmentlerinin yanında gösterir. AssemblyAI ve Deepgram, orantılı component segmentleri ve masked DER etiketleriyle speaker-attributed transcript context satırları olarak yer alır.
Dile göre sonuçlar
| Dil | VoicePing Diarization v0.1 | NeMo | pyannoteAI precision-2 | AssemblyAI | Deepgram |
|---|---|---|---|---|---|
| İngilizce | 3.54% | 4.50% | 4.40% | 21.73% | 8.23% |
| Japonca | 3.79% | 7.30% | 10.87% | xx | 28.76% |
| Korece | 4.08% | 10.86% | 11.21% | xx | xx |
| Vietnamca | 4.12% | 5.56% | 7.95% | xx | xx |
| Mandarin | 4.37% | 5.10% | 7.98% | 25.78% | 11.67% |
| Karışık, 5 dil | 3.50% | 7.53% | 16.54% | xx | xx |
| Karışık, 4 dil | 4.14% | 4.59% | 4.62% | xx | xx |
Dile göre bakıldığında VoicePing Diarization v0.1, bu public table’daki yedi language bucket’ın tamamında en güçlü satırdır. NeMo hâlâ yararlı bir open baseline’dır; bu satır NeMo Neural MSDD kullanır. pyannoteAI precision-2 diller arasında tutarlı şekilde kullanılabilir, ancak burada her bucket’ta VoicePing Diarization v0.1’in gerisindedir.
API satırları farklı bir hikâye anlatır. Deepgram ve AssemblyAI, speaker-attributed transcript’ler için yararlı reference’lardır; ancak public table, bunların multilingual speaker timeline’ları için direct diarization replacement olarak sunulmaması gerektiğini gösterir.
Senaryo ve kısa ses çıkarımları
Senaryo görünümü tek bir suite-level average gibi değil, segment segment okunmalıdır. VoicePing Diarization v0.1, 5-minute base bucket’ta 3.92% DER ile en güçlüdür; 2-minute audio’da 6.04%, 5-minute no-overlap audio’da 5.93% ve 30-minute 7-9 speaker audio’da 5.57% ile mid-single digits seviyesinde kalır. Sonra daha zor meeting bucket’larında yükselir: 30% overlap içeren 5 minutes için 8.23%, 7-9 speakers içeren 5 minutes için 8.69% ve 60-minute audio için 8.28%.
Product planning açısından üç soruyu ayırmalıyız. Birincisi, full meetings için en güçlü diarization pipeline hangisi? İkincisi, her konuşmacının az speech’i olduğunda hangi embedding model daha robust? Üçüncüsü, MSDD refinement ve speaker identity matching sonrasında full production pipeline nasıl davranıyor? Bu post segmentation layer’da yalnızca ilk bölümü yanıtlar.
Local systems için speed avantajlı kalıyor. PC-54 full-suite export, VoicePing Diarization v0.1’i 0.024 RTF, NeMo’yu 0.020 RTF ve pyannoteAI precision-2’yi 0.028 RTF olarak raporlar. API timings provider behavior içerir ve hardware-normalized benchmark değil operational context olarak okunmalıdır. Speed chart, timing comparison operating context’e odaklı kalsın diye AssemblyAI ve Deepgram’ı masked DER operational context olarak tutar.
speaker-attributed transcript API’ler: yararlı ama farklı
Deepgram ve AssemblyAI, transcription output’a speaker labels ekler. Kullanıcının speaker-attributed transcript’e ihtiyacı olduğunda bu yararlıdır; ancak full audio timeline’ı diarize etmekle aynı şey değildir. Speech transcribed edilmezse veya bir language içinde transcript unstable ise speaker timeline bu limitation’ı devralır.
AssemblyAI, Deepgram’dan daha acoustic davranır, ancak public table’da bazı satırlar hâlâ masked durumdadır. Bu article’da iki provider da methodology, overall view ve language views içinde kalır; çünkü common buying-path reference’lardır, en güçlü diarization competitor oldukları için değil.
VoicePing için anlamı
Bu article seçilen VoicePing benchmark result’ını VoicePing Diarization v0.1 olarak sunar. Böylece hikâye internal experiment names yerine customer-facing model identity’ye odaklanır. VoicePing Diarization v0.1 benchmark’ta liderdir ve izlenmesi gereken serious comparison pyannoteAI precision-2’dir.
Bu, continued internal diagnosis’ın önemini azaltmaz. Production diarization yalnızca bir aşamadır: transcript alignment, speaker segmentation ve ardından known workspace voices’a karşı speaker identity matching. Son aşama anonymous labels’ı toplantılar boyunca aynı colleague name’e çevirir; benchmark edilen API’ler bunu sağlamaz. Bir sonraki public follow-up yalnızca bu isolated segmentation row’u değil, full production pipeline’ı değerlendirmelidir.
Bu nedenle article, unstable short-clip anecdotes’ı ratio olarak yayınlamaz. Short files gerçek failure mode’ları gösterebilir, ancak hikâyeyi tek bir senaryoya overfit etmemek için yeterli örnek içeren ayrı bir acceptance test gerekir. Production question yalnızca segmenter’ın controlled corpus kazanıp kazanmadığı değildir; kullanıcıların live meetings, uploaded calls ve short voice snippets boyunca doğru speaker names, stable turns ve useful transcripts’ı tutarlı görüp görmediğidir.
Sınırlamalar ve sonuç
Ana sınırlama evaluation set’tir. Synthetic conversations exact references verir, ancak real meetings’ten daha temizdir ve training data’mızla ilgili bir domain’den gelir. Timeline ayrıca wall-to-wall speech’e yakındır; bu yüzden false-alarm behavior yeterince zorlanmamıştır. Final production claims için harder overlapping-speech recordings içeren gerçek out-of-domain multi-speaker set hâlâ gereklidir.
Bu sınırlar içinde ana conclusion şudur: VoicePing Diarization v0.1, 42-file benchmark’ta liderdir; pyannoteAI precision-2 izlenmesi gereken dedicated commercial API row’dur; masked cells görülen yerlerde speaker-attributed transcript products qualitative reference olarak kalmalıdır. Sonraki çalışma production model identity, short-audio behavior ve end-to-end production pipeline benchmark’a odaklanmalıdır.
