Wir stellen das VoicePing ASR Model V0.1 vor, ein mehrsprachiges Speech-to-Text-Modell für Englisch, Japanisch, Koreanisch, Chinesisch und Vietnamesisch.
Vorstellung des VoicePing ASR Model V0.1
Heute stellen wir das VoicePing ASR Model V0.1 vor – unser mehrsprachiges Speech-to-Text-Modell für die Sprachen, die in VoicePing am häufigsten vorkommen: Englisch, Japanisch, Koreanisch, Chinesisch und Vietnamesisch.
VoicePing ist rund um mehrsprachige gesprochene Kommunikation aufgebaut: Meetings, Events, Sprachübersetzung, Transkripte, Zusammenfassungen und Suche. In diesen Arbeitsabläufen ist die automatische Spracherkennung (ASR, Automatic Speech Recognition) kein isoliertes Feature. Sie ist die erste Schicht des gesamten Produkterlebnisses. Wenn das Transkript instabil ist, verliert jeder nachgelagerte Schritt an Nutzen.
Das VoicePing ASR Model V0.1 ist für genau diese Realität konzipiert. Es konzentriert sich auf die fünf Kernsprachen, die wir am intensivsten bedienen – mit dem Ziel, sauberere Transkripte für echte Gespräche zu liefern.
Ein Modell für mehrsprachige Arbeit
Universelle Spracherkennung hat sich schnell verbessert, doch echtes mehrsprachiges Audio hat nach wie vor seine Tücken:
- Japanisch, Koreanisch und Chinesisch erfordern eine sprachspezifische Textverarbeitung.
- Vietnamesisch hängt von korrekten Tonzeichen und Wortgrenzen ab.
- Lange oder verrauschte Clips können unvollständige Transkripte, leere Ausgaben und wiederholten Text zutage fördern.
- Cloud-Modelle können sich je nach Sprache unterschiedlich verhalten, selbst wenn die API einheitlich wirkt.
- Ein System, das in einem öffentlichen Benchmark gut abschneidet, ist nicht immer die beste Wahl für Meetings, Events und Sprachübersetzung.
Das VoicePing ASR Model V0.1 ist unser erstes konsolidiertes Modell, das um diese fünfsprachige Produktoberfläche herum entwickelt wurde. Der folgende Benchmark stellt eine praktische Frage: Wie gut transkribiert es die Sprache, auf die es unseren Nutzern tatsächlich ankommt?
Was es leistet
Das VoicePing ASR Model V0.1 transkribiert Sprache in:
- Englisch
- Japanisch
- Koreanisch
- Chinesisch
- Vietnamesisch
Die Ausgabe ist das Transkript, das spätere VoicePing-Funktionen wie Übersetzung, Untertitel, Meeting-Notizen und durchsuchbare Gesprächshistorie antreibt.
Dieser Artikel verwendet ASR und STT (Speech-to-Text) synonym. Beide bezeichnen die Transkription von Sprache in Text.
Evaluierung
Datensatz
Die Evaluierung nutzt einen mehrsprachigen VoicePing-Sprachdatensatz mit 1.000 Clips pro Sprache, insgesamt rund 41 Stunden Audio. Die Clips spiegeln die Art von Sprache wider, mit der VoicePing in der Praxis umgeht: echte Gespräche statt sauber vorgelesener Aufnahmen.
| Sprache | Clips |
|---|---|
| Englisch | 1,000 |
| Japanisch | 1,000 |
| Vietnamesisch | 1,000 |
| Koreanisch | 1,000 |
| Chinesisch | 1,000 |
| Gesamt | 5,000 |
Jedes System wird auf demselben Audiodatensatz getestet.
Verglichene Modelle
Wir vergleichen das VoicePing ASR Model V0.1 mit weit verbreiteten Cloud-Sprachsystemen und offenen ASR-Modellen, darunter Google Cloud STT, Azure AI Speech, OpenAI-Transkriptionsmodelle, ElevenLabs Scribe v2, Deepgram Nova-3, Qwen3-ASR und SenseVoiceSmall.
Bewertung
Die zentrale Metrik ist die Wortfehlerrate (WER, Word Error Rate): Je niedriger, desto besser. Die WER misst, wie viele Wörter im Vergleich zum menschlichen Referenztranskript eingefügt, gelöscht oder ersetzt wurden.
Latenz
Genauigkeit ist nicht die einzige Anforderung an produktionsreife ASR. Wir messen auch, wie lange jedes System braucht, um ein Transkript zurückzuliefern – denn ein Modell, das zwar genau, aber langsam ist, kann sich in Live-Meetings und bei Events dennoch schlecht anfühlen.
Hauptergebnisse
Das folgende Diagramm vergleicht die durchschnittliche Wortfehlerrate über die fünf Sprachen für das VoicePing ASR Model V0.1 und die externen Speech-to-Text-Systeme in diesem Benchmark. Niedrigere Balken sind besser. Diagramme pro Sprache folgen im Ergebnisteil.
Genauigkeit nach Sprache
| System | EN WER | JA WER | VI WER | KO WER | ZH WER | Makro-WER |
|---|---|---|---|---|---|---|
| VoicePing ASR Model V0.1 | 20.2% | 20.4% | 15.5% | 24.5% | 16.0% | 19.3% |
| Google Cloud STT V1 default | 23.1% | 23.5% | 52.1% | 57.8% | 44.2% | 40.1% |
| Google Cloud STT Chirp 2 | 24.5% | 29.7% | 14.8% | 32.8% | 22.6% | 24.9% |
| Google Cloud STT Chirp 3 | 22.9% | 26.4% | 20.1% | 37.4% | 19.2% | 25.2% |
| Azure AI Speech | 23.0% | 21.1% | 21.0% | 37.3% | 22.5% | 25.0% |
| OpenAI GPT-4o Transcribe | 50.6% | 52.4% | 64.3% | 44.1% | 29.1% | 48.1% |
| OpenAI GPT Realtime Whisper | 31.8% | 26.2% | 20.9% | 33.0% | 22.4% | 26.9% |
| Qwen3-ASR 0.6B | 23.8% | 29.7% | 26.2% | 38.2% | 20.9% | 27.7% |
| Qwen3-ASR 1.7B | 21.9% | 25.0% | 22.0% | 33.1% | 20.0% | 24.4% |
| SenseVoiceSmall | 28.0% | 37.4% | 99.9% | 45.9% | 28.1% | 47.9% |
| ElevenLabs Scribe v2 | 28.6% | 20.3% | 15.4% | 31.5% | 21.2% | 23.4% |
| Deepgram Nova-3 | 29.3% | 28.0% | 38.4% | 44.8% | 29.2% | 34.0% |
Bestenliste
| System | Makro-WER | Mediane Latenz | Anmerkungen |
|---|---|---|---|
| VoicePing ASR Model V0.1 | 19.3% | 1.22s | Mehrsprachige ASR von VoicePing |
| Google Cloud STT V1 default | 40.1% | 7.47s | Cloud-Speech-to-Text |
| Google Cloud STT Chirp 2 | 24.9% | 7.12s | Cloud-Speech-to-Text |
| Google Cloud STT Chirp 3 | 25.2% | 7.32s | Cloud-Speech-to-Text |
| Azure AI Speech | 25.0% | 7.12s | Cloud-Speech-to-Text |
| OpenAI GPT-4o Transcribe | 48.1% | 1.53s | OpenAI-Transkription |
| OpenAI GPT Realtime Whisper | 26.9% | 7.17s | OpenAI-Transkription |
| Qwen3-ASR 0.6B | 27.7% | 3.56s | Offenes ASR-Modell |
| Qwen3-ASR 1.7B | 24.4% | 4.18s | Offenes ASR-Modell |
| SenseVoiceSmall | 47.9% | 0.07s | Offenes ASR-Modell |
| ElevenLabs Scribe v2 | 23.4% | 3.07s | Cloud-Speech-to-Text |
| Deepgram Nova-3 | 34.0% | 1.33s | Cloud-Speech-to-Text |
Das VoicePing ASR Model V0.1 verbindet die niedrigste Makro-WER in diesem Benchmark mit einer der schnellsten medianen Antwortzeiten von 1,22 Sekunden. Die Systeme, die in diesem Durchlauf schneller antworten, büßen dafür erheblich an Genauigkeit ein.
Ergebnisse nach Sprache
Englisch
Das VoicePing ASR Model V0.1 erreicht mit 20.2% die niedrigste englische WER in diesem Vergleich – vor Qwen3-ASR 1.7B und den hier getesteten großen Cloud-Systemen.
Japanisch
Japanisch ist eine der wichtigsten Sprachen für VoicePing. Auf diesem Datensatz erreicht das VoicePing ASR Model V0.1 eine WER von 20.4% und liegt damit praktisch gleichauf mit ElevenLabs Scribe v2 (20.3%) beim besten japanischen Ergebnis – vor Azure AI Speech und den offenen ASR-Baselines.
Vietnamesisch
Vietnamesisch ist das engste Rennen in diesem Benchmark: Google Cloud STT Chirp 2 führt mit 14.8% WER, dicht dahinter liegen ElevenLabs Scribe v2 (15.4%) und das VoicePing ASR Model V0.1 (15.5%) praktisch gleichauf.
Koreanisch
Koreanisch zeigt einen der deutlichsten Abstände im Benchmark. Das VoicePing ASR Model V0.1 erreicht 24.5% WER und liegt damit klar vor der nächsten Gruppe von Systemen.
Chinesisch
Chinesisch ist ein weiterer starker Bereich für das VoicePing ASR Model V0.1 mit 16.0% WER – Google Cloud STT Chirp 3 und Qwen3-ASR 1.7B folgen am dichtesten.
Was wir gelernt haben
- Das VoicePing ASR Model V0.1 hat die stärkste Gesamtgenauigkeit in diesem Benchmark, mit 19.3% Makro-WER über die fünf Sprachen.
- Das Ergebnis ist nicht über alle Sprachen einheitlich: Englisch, Koreanisch und Chinesisch zeigen in diesem Durchlauf die deutlichsten VoicePing-Vorteile, Japanisch ist ein praktisches Unentschieden mit dem besten Cloud-System, und Vietnamesisch ist ein enges Rennen, das mit weniger als einem Punkt Abstand entschieden wurde.
- Größere Allzwecksysteme gewinnen bei produktspezifischer mehrsprachiger Sprache nicht automatisch.
- Genauigkeit und Antwortzeit sind beide entscheidend für das Nutzererlebnis, besonders in Live-Meetings und bei Events.
Wie es weitergeht
Das VoicePing ASR Model V0.1 ist eine erste Version, und dieser Benchmark ist eine Momentaufnahme. Der Datensatz besteht aus der Art von Sprache, mit der VoicePing in der Praxis umgeht – er misst also die Reife für unser Produkt und ersetzt keinen universellen öffentlichen Benchmark. Die Cloud-Systeme im Vergleich werden sich weiterentwickeln, ebenso wie unser Modell. Die Latenz hängt zudem von der Deployment-Umgebung ab, daher sind die Geschwindigkeitswerte als Richtwerte und nicht als absolute Zahlen zu verstehen.
Von hier aus konzentriert sich unsere Arbeit auf die Punkte, auf die diese Evaluierung hinweist: die verbleibenden Fehlermuster in jeder Sprache reduzieren, den Testdatensatz um verrauschtere, längere und domänenspezifischere Audioaufnahmen erweitern und den Vergleich ausweiten, sobald neue Speech-to-Text-Systeme erscheinen. Automatische Bewertungen leiten diese Arbeit, und die menschliche Prüfung der Transkripte bleibt Teil jeder Release-Entscheidung.
Fazit
Das VoicePing ASR Model V0.1 ist unser erstes konsolidiertes mehrsprachiges ASR-Modell für Englisch, Japanisch, Koreanisch, Chinesisch und Vietnamesisch. In diesem Benchmark mit 5.000 Clips liefert es die stärkste Gesamtgenauigkeit der getesteten Systeme – bei einigen der schnellsten Antwortzeiten – und es ist die Transkriptionsschicht, auf der jede andere VoicePing-Funktion aufbaut.
Die entscheidende Verschiebung ist der Fokus: Wir bewerten ASR als Teil eines echten mehrsprachigen Kommunikationsprodukts, nicht als isolierte Modell-Demo.
