VoicePing Diarization v0.1 ist ein mehrsprachiges Speaker-Diarization-Modell, bewertet auf einem 42-Dateien-Benchmark mit NeMo, pyannoteAI precision-2, AssemblyAI und Deepgram.
Einführung von VoicePing Diarization v0.1
VoicePing Diarization v0.1 ist unser erstes öffentliches Diarization-Modell: ein Sprechersegmentierungsmodell für mehrsprachige Meetings, das erkennt, wer wann gesprochen hat, bevor nachgelagert die Sprecheridentität abgeglichen wird.
Dieser Artikel stellt das Modell anhand eines mehrsprachigen Benchmarks mit 42 Dateien aus Juli 2026 vor. NeMo, pyannoteAI precision-2, AssemblyAI und Deepgram sind als Evaluierungskontext enthalten, damit Leser verstehen, wo VoicePing Diarization v0.1 im Vergleich zu bekannten offenen und kommerziellen Sprecherlabeling-Optionen steht.
Ein Vorbehalt ist wichtig: VoicePing Diarization v0.1 ist die öffentliche Modellidentität der gewählten Benchmark-Zeile, kein Live-Check des Produktionsregisters. Die Produktionsmodellauswahl wird durch Runtime-Konfiguration gesteuert, und Produktion umfasst zusätzlich eine nachgelagerte Sprecheridentitätszuordnung außerhalb dieses reinen Diarization-Benchmarks.
Evaluierungssetup
Der Benchmark enthält 42 Dateien und etwa 10,5 Stunden Audio: fünf einsprachige Sets in Englisch, Japanisch, Koreanisch, Vietnamesisch und Mandarin sowie zwei code-switching mehrsprachige Dateien. Die Szenarien reichen von 30 Sekunden bis 1 Stunde, mit 2-9 Sprechern und 0-30% überlappender Sprache.
Die Dateien sind synthetische Gespräche, zusammengesetzt aus echten Einzelsprecheraufnahmen. Das liefert exakte Referenzlabels und wiederholbares Scoring, ist aber sauberer als viele reale Meetings. Ergebnisse sollten als kontrollierter Benchmark gelesen werden, nicht als Ersatz für Meeting-Evaluierung außerhalb der Domäne.
Das Evaluierungsset ist bewusst enger als der rohe interne Export. NeMo ist als wichtigste lokale offene Baseline enthalten und nutzt das NeMo Neural MSDD Ergebnis aus den Rerun-Artefakten. pyannoteAI precision-2 ist als klarster dedizierter kommerzieller Diarization-Service enthalten. Deepgram und AssemblyAI sind enthalten, weil Käufer sie oft bei speaker-attributed Transcript-Evaluierungen vergleichen, aber maskierte Zellen werden nicht für direkte Headline-Rankings genutzt.
Methodendetails: DER wurde als pyannote.metrics-artige Diarization Error Rate berechnet, mit fair collar, gewertetem Overlap und corpus-zeitgewichteter Aggregation. Der Forschungsexport aus Juli 2026 nutzte die VoicePing Diarization v0.1 Benchmark-Zeile aus dem voiceping-inc/titanet Hugging Face Snapshot (titanet_finetuned.nemo), die NeMo Neural MSDD Baseline, pyannoteAI precision-2 und speaker-attributed transcript Sprecherlabel-Ausgaben von AssemblyAI und Deepgram.
Gesamtergebnisse
| System | Dateien | DER | Rolle | RTF |
|---|---|---|---|---|
| VoicePing Diarization v0.1 | 42 | 4.01% | VoicePing Diarization-Modell | 0.024 |
| NeMo | 42 | 6.64% | NeMo Neural MSDD Baseline | 0.020 |
| pyannoteAI precision-2 | 42 | 8.55% | Dedizierte kommerzielle Diarization API | 0.028 |
| AssemblyAI | 42 | xx | speaker-attributed transcript Sprecherlabels | 0.049 |
| Deepgram | 41 | xx | speaker-attributed transcript Sprecherlabels | 0.006 |
Die saubere Kernaussage ist einfach: VoicePing Diarization v0.1 führt den kontrollierten Benchmark an, gefolgt von NeMo und pyannoteAI precision-2. Die dedizierte Diarization API bleibt nah genug, um ein ernstzunehmender externer Vergleich zu sein. Die speaker-attributed transcript Zeilen sind als Kontext enthalten, während der Kernvergleich der Genauigkeit VoicePing Diarization v0.1, NeMo und pyannoteAI precision-2 bleibt.
Die Komponentenansicht enthält alle fünf öffentlichen Zeilen. VoicePing Diarization v0.1, NeMo und pyannoteAI precision-2 zeigen ihre Headline-DER-Labels neben Miss-, False-Alarm- und Speaker-Confusion-Segmenten. AssemblyAI und Deepgram sind als speaker-attributed transcript Kontextzeilen mit proportionalen Segmenten und masked DER Labels enthalten.
Ergebnisse nach Sprache
| Sprache | VoicePing Diarization v0.1 | NeMo | pyannoteAI precision-2 | AssemblyAI | Deepgram |
|---|---|---|---|---|---|
| Englisch | 3.54% | 4.50% | 4.40% | 21.73% | 8.23% |
| Japanisch | 3.79% | 7.30% | 10.87% | xx | 28.76% |
| Koreanisch | 4.08% | 10.86% | 11.21% | xx | xx |
| Vietnamesisch | 4.12% | 5.56% | 7.95% | xx | xx |
| Mandarin | 4.37% | 5.10% | 7.98% | 25.78% | 11.67% |
| Gemischt, 5 Sprachen | 3.50% | 7.53% | 16.54% | xx | xx |
| Gemischt, 4 Sprachen | 4.14% | 4.59% | 4.62% | xx | xx |
Nach Sprache ist VoicePing Diarization v0.1 in allen sieben Sprachgruppen dieser öffentlichen Tabelle die stärkste Zeile. NeMo bleibt eine nützliche offene Baseline; diese Zeile verwendet NeMo Neural MSDD. pyannoteAI precision-2 ist über Sprachen hinweg konsistent brauchbar, liegt hier aber in jeder Gruppe hinter VoicePing Diarization v0.1.
Die API-Zeilen erzählen eine andere Geschichte. Deepgram und AssemblyAI sind hilfreiche Referenzen für Transkripte mit Sprecherzuordnung, aber die öffentliche Tabelle zeigt, warum sie nicht als direkte Diarization-Ersatzlösungen für mehrsprachige Sprecher-Timelines präsentiert werden sollten.
Szenario- und Kurz-Audio-Erkenntnisse
Die Szenarioansicht sollte Segment für Segment gelesen werden, nicht als einzelner Durchschnitt über die gesamte Suite. VoicePing Diarization v0.1 ist im 5-Minuten-Basisbucket mit 3.92% DER am stärksten, bleibt bei 2-Minuten-Audio mit 6.04%, 5-Minuten-Audio ohne Overlap mit 5.93% und 30-Minuten-Audio mit 7-9 Sprechern bei 5.57% im mittleren einstelligen Bereich, steigt dann aber in schwierigeren Meeting-Buckets: 8.23% für 5 Minuten mit 30% Overlap, 8.69% für 5 Minuten mit 7-9 Sprechern und 8.28% für 60-Minuten-Audio.
Für Produktplanung sollten drei Fragen getrennt werden. Erstens: Welche Diarization-Pipeline ist für vollständige Meetings am stärksten? Zweitens: Welches Embedding-Modell ist robust, wenn jeder Sprecher nur wenig Sprache hat? Drittens: Wie verhält sich die gesamte Produktionspipeline nach MSDD-Refinement und Sprecheridentitätsabgleich? Dieser Beitrag beantwortet nur den ersten Teil auf Segmentierungsebene.
Die Geschwindigkeit bleibt für lokale Systeme günstig. Der PC-54 Full-Suite-Export meldet VoicePing Diarization v0.1 mit 0.024 RTF, nahe an NeMo mit 0.020 RTF und pyannoteAI precision-2 mit 0.028 RTF. API-Zeiten enthalten Providerverhalten und sollten als operativer Kontext gelesen werden, nicht als hardware-normalisierter Benchmark. Das Geschwindigkeitsdiagramm behält AssemblyAI und Deepgram als masked DER API-Kontext, damit der Timing-Vergleich operativ fokussiert bleibt.
speaker-attributed transcript APIs: nützlich, aber anders
Deepgram und AssemblyAI hängen Sprecherlabels an Transkriptionsausgaben. Das ist nützlich, wenn Benutzer ein Sprecher-attribuiertes Transkript brauchen, aber es ist nicht dasselbe wie die Diarisierung der vollständigen Audio-Timeline. Wenn Sprache nicht transkribiert wird oder ein Transkript in einer Sprache instabil ist, erbt die Sprecher-Timeline diese Einschränkung.
AssemblyAI verhält sich akustischer als Deepgram, aber einige Zeilen sind in der öffentlichen Tabelle weiterhin maskiert. In diesem Artikel bleiben beide Anbieter in Methodik, Gesamtansicht und Sprachansichten, weil sie häufige Referenzen im Kaufpfad sind, nicht weil sie die stärksten Diarization-Wettbewerber sind.
Bedeutung für VoicePing
Dieser Artikel präsentiert das ausgewählte VoicePing-Benchmark-Ergebnis als VoicePing Diarization v0.1. Das hält die Geschichte auf die kundenseitige Modellidentität fokussiert statt auf interne Experimentnamen. VoicePing Diarization v0.1 führt den Benchmark an, und der ernsthafte Vergleich, den man beobachten sollte, ist pyannoteAI precision-2.
Das verringert nicht die Bedeutung kontinuierlicher interner Diagnose. Produktions-Diarization ist nur eine Stufe: Transcript Alignment, Sprechersegmentierung und dann Sprecheridentitätsabgleich gegen bekannte Workspace-Stimmen. Diese letzte Stufe wandelt anonyme Labels über Meetings hinweg in dieselben Kollegennamen um, was die benchmarkten APIs nicht bieten. Der nächste öffentliche Follow-up sollte die vollständige Produktionspipeline bewerten, nicht nur diese isolierte Segmentierungszeile.
Deshalb vermeidet der Artikel auch, instabile Kurzclip-Anekdoten als Ratios zu veröffentlichen. Kurze Dateien können echte Fehlerarten aufdecken, brauchen aber einen separaten Acceptance Test mit genügend Beispielen, damit die Geschichte nicht auf ein einzelnes Szenario overfitted. Die Produktionsfrage ist nicht nur, ob der Segmenter auf einem kontrollierten Corpus gewinnt; sie ist, ob Benutzer über Live-Meetings, hochgeladene Calls und kurze Voice Snippets hinweg zuverlässig richtige Sprechernamen, stabile Turns und nützliche Transkripte sehen.
Grenzen und Fazit
Die wichtigste Grenze ist das Evaluierungsset. Synthetische Gespräche geben exakte Referenzen, sind aber sauberer als echte Meetings und stammen aus einer Domäne, die mit unseren Trainingsdaten verwandt ist. Die Timeline ist außerdem nahezu durchgehend Sprache, daher wird False-Alarm-Verhalten nicht stark genug belastet. Ein echtes out-of-domain Multi-Speaker-Set, inklusive schwierigerer Overlap-Aufnahmen, ist weiterhin nötig, bevor endgültige Produktionsaussagen getroffen werden.
Innerhalb dieser Grenzen lautet das Fazit: VoicePing Diarization v0.1 führt den 42-Dateien-Benchmark an, pyannoteAI precision-2 ist die dedizierte kommerzielle API-Zeile, die beobachtet werden sollte, und speaker-attributed transcript Produkte sollten dort qualitative Referenzen bleiben, wo Zellen maskiert sind. Die nächste Arbeit sollte sich auf Produktionsmodellidentität, Kurz-Audio-Verhalten und einen End-to-End-Benchmark der Produktionspipeline konzentrieren.
