Ein 100-Zeilen-Benchmark für Englisch-Japanisch mit GPT-5.5-Bewertung: VoicePing MT v0.1 im Vergleich mit DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure und Llama, inklusive beobachteter Latenz.
Introducing VoicePing Translation Model MT V0.1
Das Übersetzungsmodell von VoicePing ist für eine einfache, aber anspruchsvolle Aufgabe gebaut: englische Inhalte so ins Japanische zu übertragen, dass sie verlässlich, teilbar und direkt nutzbar sind. Dieser Benchmark prüft genau diesen praktischen Anwendungsfall: englische Ausgangstexte sollen sinngemäß erhalten bleiben und auf Japanisch natürlich klingen.
Benchmark-Überblick
| Modell | Gesamtwert | Flüssigkeit (Fluency) | Natürlichkeit (Naturalness) | Genauigkeit (Accuracy) | Vollständigkeit (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
Evaluationsaufbau
Wir haben 100 englische Ausgangstexte aus einem internen Datensatz bewertet. Da es für diese Daten keine verlässlichen japanischen Referenzübersetzungen gibt, nutzten wir GPT-5.5 als Einzelmodell-Judge: bewertet wurde jeweils nur der englische Ausgangstext zusammen mit einer japanischen Übersetzung.
Verglichen wurden DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate und Llama 3.1 8B.
Jede Zeile wurde von 0 bis 100 in Genauigkeit (Accuracy), Vollständigkeit (Completeness), Flüssigkeit (Fluency) und Natürlichkeit (Naturalness) bewertet. Der Gesamtwert wird als Genauigkeit (Accuracy) x 0.40 + Vollständigkeit (Completeness) x 0.30 + Flüssigkeit (Fluency) x 0.15 + Natürlichkeit (Naturalness) x 0.15 berechnet. Bedeutungstreue und Vollständigkeit zählen damit stärker als Stil.
Die Latenz wird getrennt von der Qualität ausgewiesen. Sie stammt aus latency_ms in den jeweiligen Ergebnisdateien und ist ein beobachteter Wert pro Zeile, kein normalisierter Produktionsbenchmark. API-Anbieter, lokale Hardware und Netzwerkpfade unterscheiden sich.
Qualitätsergebnisse
DeepL erreicht mit 89.4 den höchsten Gesamtwert. Sakana Translate folgt mit 88.0, während VoicePing MT v0.1 mit 87.2 in der Spitzengruppe bleibt und vor GPT-5 mini, Google Translate, Qwen, Azure Translate und Llama 3.1 8B liegt.
Flüssigkeit (Fluency)
Bei der Flüssigkeit (Fluency) führt DeepL mit 91.1. VoicePing MT v0.1 folgt mit 90.7 sehr knapp dahinter; der Abstand beträgt nur 0.4 Punkte.
Natürlichkeit (Naturalness)
Auch bei der Natürlichkeit (Naturalness) liegt DeepL mit 89.0 vorne. VoicePing MT v0.1 erreicht mit 87.5 den zweiten Platz und liegt damit vor GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate und Llama 3.1 8B.
Genauigkeit (Accuracy)
Bei der Genauigkeit (Accuracy) führt DeepL mit 88.7, dicht gefolgt von Sakana Translate mit 88.5. GPT-5 mini, Google Translate, Qwen und VoicePing MT v0.1 bilden eine enge Gruppe im mittleren 86er-Bereich.
Vollständigkeit (Completeness)
Bei der Vollständigkeit (Completeness) liegt Sakana Translate mit 90.4 vorne. DeepL und Google Translate folgen; GPT-5 mini, VoicePing MT v0.1 und Qwen liegen nah beieinander im Bereich von 86 bis 87 Punkten.
Beobachtete Latenz
Azure Translate und Google Translate sind in diesem Lauf nach medianer Latenz die schnellsten Systeme. Da APIs, lokale Modelle, Hardware und Netzwerkpfade nicht vereinheitlicht wurden, sollte die Latenz getrennt von der Qualitätswertung gelesen werden.
| Modell | Ausführung | Median-Latenz | Durchschnittliche Latenz | P95-Latenz |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | Gehosteter Dienst | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | Lokales Modell | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | Lokales Modell | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | Lokales Modell | 3.96s | 4.19s | 6.09s |
Was wir gelernt haben
- DeepL führt mit einem Gesamtwert von 89.4 und erzielt die besten Werte bei Flüssigkeit (Fluency) und Natürlichkeit (Naturalness).
- Sakana Translate liegt mit 88.0 auf Platz zwei und erreicht in diesem Lauf die höchste Vollständigkeit (Completeness).
- VoicePing MT v0.1 bleibt mit 87.2 nah an der Spitzengruppe und ist besonders stark bei Flüssigkeit (Fluency) und Natürlichkeit (Naturalness).
- GPT-5 mini, Google Translate und Qwen3.6-27B-FP8 dequant bilden eine enge mittlere Gruppe um 86 bis 87 Punkte.
- Azure Translate und Google Translate sind in diesem Setup am schnellsten; lokale Modelle sind hier langsamer.
Fazit
VoicePing MT v0.1 gehört bei der Englisch-Japanisch-Übersetzungsqualität bereits zur Spitzengruppe. Die stärksten Ergebnisse liegen bei Flüssigkeit (Fluency) und Natürlichkeit (Naturalness), wo das Modell sehr nah an DeepL herankommt und japanische Ausgaben erzeugt, die flüssig statt mechanisch wirken.
DeepL führt insgesamt weiterhin, und Sakana Translate ist besonders stark bei Vollständigkeit (Completeness). VoicePing MT v0.1 zeigt aber, dass das eigene Übersetzungsmodell von VoicePing in dem Qualitätsbereich mithalten kann, der für den realen Produkteinsatz zählt: die englische Bedeutung bewahren, die Ausgabe vollständig halten und japanischen Text liefern, den Menschen mit Vertrauen lesen und verwenden können.
Dieser Benchmark gibt VoicePing eine klare Grundlage für die nächste Entwicklungsphase. Die Priorität ist, Genauigkeit (Accuracy) und Vollständigkeit (Completeness) weiter zu verbessern und gleichzeitig den natürlichen japanischen Stil zu erhalten, der MT v0.1 bereits wettbewerbsfähig macht.
