Benchmark anglais-japonais de 100 lignes avec jugement GPT-5.5 : VoicePing MT v0.1 comparé à DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure et Llama, avec latence observée.
Introducing VoicePing Translation Model MT V0.1
Le modèle de traduction de VoicePing répond à une exigence simple à énoncer, mais difficile à satisfaire : transformer du contenu anglais en japonais fiable, partageable et directement exploitable. Ce benchmark évalue précisément ce cas d’usage concret : traduire un texte anglais vers un japonais qui conserve le sens et se lit naturellement.
Vue d’ensemble du benchmark
| Modèle | Score global | Fluidité (Fluency) | Naturel (Naturalness) | Exactitude (Accuracy) | Complétude (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
Configuration de l’évaluation
Nous avons évalué 100 textes sources en anglais issus d’un jeu de données interne. Comme il n’existe pas de référence japonaise fiable pour ce jeu, nous avons utilisé GPT-5.5 comme juge modèle par modèle : chaque évaluation ne contenait que le texte anglais et une traduction japonaise.
Les systèmes comparés sont DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate et Llama 3.1 8B.
Chaque ligne est notée de 0 à 100 selon l’exactitude (Accuracy), la complétude (Completeness), la fluidité (Fluency) et le naturel (Naturalness). Le score global est recalculé ainsi : exactitude (Accuracy) x 0.40 + complétude (Completeness) x 0.30 + fluidité (Fluency) x 0.15 + naturel (Naturalness) x 0.15. La fidélité du sens et la complétude pèsent donc plus que le style.
La latence est présentée séparément de la qualité. Elle provient du champ latency_ms de chaque CSV de résultats et correspond à une observation par ligne, pas à un benchmark de production normalisé. Les fournisseurs d’API, le matériel local et les chemins réseau diffèrent.
Résultats de qualité
DeepL obtient le meilleur score global avec 89.4. Sakana Translate suit avec 88.0, tandis que VoicePing MT v0.1 reste proche avec 87.2, devant GPT-5 mini, Google Translate, Qwen, Azure Translate et Llama 3.1 8B.
Fluidité (Fluency)
En fluidité (Fluency), DeepL mène avec 91.1. VoicePing MT v0.1 suit de très près avec 90.7, soit seulement 0.4 point d’écart.
Naturel (Naturalness)
En naturel (Naturalness), DeepL mène également avec 89.0. VoicePing MT v0.1 arrive deuxième avec 87.5, devant GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate et Llama 3.1 8B.
Exactitude (Accuracy)
En exactitude (Accuracy), DeepL mène avec 88.7, suivi de très près par Sakana Translate à 88.5. GPT-5 mini, Google Translate, Qwen et VoicePing MT v0.1 forment un groupe serré autour de 86 points.
Complétude (Completeness)
En complétude (Completeness), Sakana Translate mène avec 90.4. DeepL et Google Translate suivent, tandis que GPT-5 mini, VoicePing MT v0.1 et Qwen restent proches entre 86 et 87 points.
Latence observée
Azure Translate et Google Translate sont les systèmes les plus rapides selon la latence médiane observée dans cet essai. La latence doit être lue séparément de la qualité, car les APIs, les modèles locaux, le matériel et les chemins réseau ne sont pas normalisés.
| Modèle | Mode d’exécution | Latence médiane | Latence moyenne | Latence P95 |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | Service hébergé | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | Modèle local | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | Modèle local | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | Modèle local | 3.96s | 4.19s | 6.09s |
Ce que nous retenons
- DeepL mène avec un score global de 89.4 et les meilleurs scores en fluidité (Fluency) et en naturel (Naturalness).
- Sakana Translate arrive deuxième avec 88.0 et obtient la meilleure complétude (Completeness) dans cet essai.
- VoicePing MT v0.1 reste proche du groupe de tête avec 87.2, notamment grâce à sa fluidité (Fluency) et à son naturel (Naturalness).
- GPT-5 mini, Google Translate et Qwen3.6-27B-FP8 dequant forment un groupe intermédiaire très serré autour de 86 à 87 points.
- Azure Translate et Google Translate sont les plus rapides dans cette configuration ; les modèles locaux sont plus lents ici.
Conclusion
VoicePing MT v0.1 fait déjà partie du groupe de tête pour la qualité de traduction anglais-japonais. Ses meilleurs résultats se situent en fluidité (Fluency) et en naturel (Naturalness), où il se rapproche fortement de DeepL et produit un japonais qui se lit avec aisance, sans impression mécanique.
DeepL reste en tête au global, et Sakana Translate est particulièrement fort en complétude (Completeness). Mais VoicePing MT v0.1 montre que le modèle de traduction de VoicePing peut rivaliser dans la zone de qualité qui compte pour un usage produit réel : préserver le sens de l’anglais, garder une sortie complète et produire un japonais que les utilisateurs peuvent lire et utiliser avec confiance.
Ce benchmark donne à VoicePing une base claire pour la prochaine étape de développement du modèle. La priorité est de continuer à améliorer l’exactitude (Accuracy) et la complétude (Completeness), tout en préservant le style japonais naturel qui rend déjà MT v0.1 compétitif.
