Benchmark inglés-japonés de 100 filas con evaluación GPT-5.5: VoicePing MT v0.1 frente a DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure y Llama, con latencia observada.
Introducing VoicePing Translation Model MT V0.1
El modelo de traducción de VoicePing está pensado para una tarea sencilla de formular, pero difícil de hacer bien: convertir contenido en inglés en japonés fiable, compartible y listo para usarse. Este benchmark evalúa precisamente ese caso práctico: traducir texto en inglés al japonés conservando el significado y manteniendo una redacción natural.
Resumen del benchmark
| Modelo | Puntuación general | Fluidez (Fluency) | Naturalidad (Naturalness) | Precisión (Accuracy) | Integridad (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
Configuración de la evaluación
Evaluamos 100 textos fuente en inglés de un conjunto de datos interno. Como no existe una referencia japonesa fiable para este conjunto, usamos GPT-5.5 como evaluador de un solo modelo: en cada caso vio el texto en inglés y una traducción japonesa correspondiente.
Los sistemas comparados fueron DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate y Llama 3.1 8B.
Cada fila se puntuó de 0 a 100 en precisión (Accuracy), integridad (Completeness), fluidez (Fluency) y naturalidad (Naturalness). La puntuación general se calcula como precisión (Accuracy) x 0.40 + integridad (Completeness) x 0.30 + fluidez (Fluency) x 0.15 + naturalidad (Naturalness) x 0.15, por lo que la fidelidad semántica y la integridad pesan más que el estilo.
La latencia se informa por separado de la calidad. Proviene del campo latency_ms de cada CSV de resultados y representa una observación por fila, no un benchmark normalizado de producción. Los proveedores de API, el hardware local y las rutas de red no son iguales.
Resultados de calidad
DeepL obtiene la puntuación general más alta con 89.4. Sakana Translate le sigue con 88.0, mientras que VoicePing MT v0.1 se mantiene cerca con 87.2, por delante de GPT-5 mini, Google Translate, Qwen, Azure Translate y Llama 3.1 8B.
Fluidez (Fluency)
En fluidez (Fluency), DeepL lidera con 91.1. VoicePing MT v0.1 queda muy cerca con 90.7, a solo 0.4 puntos.
Naturalidad (Naturalness)
En naturalidad (Naturalness), DeepL también lidera con 89.0. VoicePing MT v0.1 ocupa el segundo lugar con 87.5, por encima de GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate y Llama 3.1 8B.
Precisión (Accuracy)
En precisión (Accuracy), DeepL lidera con 88.7 y Sakana Translate queda muy cerca con 88.5. GPT-5 mini, Google Translate, Qwen y VoicePing MT v0.1 forman un grupo compacto alrededor de 86 puntos.
Integridad (Completeness)
En integridad (Completeness), Sakana Translate lidera con 90.4. DeepL y Google Translate le siguen; GPT-5 mini, VoicePing MT v0.1 y Qwen se mantienen cerca entre 86 y 87 puntos.
Latencia observada
Azure Translate y Google Translate son los sistemas más rápidos por latencia mediana en esta ejecución. La latencia debe leerse por separado de la calidad, porque las APIs, los modelos locales, el hardware y las rutas de red no están normalizados.
| Modelo | Modo de ejecución | Latencia mediana | Latencia media | Latencia P95 |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | Servicio alojado | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | Modelo local | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | Modelo local | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | Modelo local | 3.96s | 4.19s | 6.09s |
Qué aprendimos
- DeepL lidera con 89.4 de puntuación general y obtiene los mejores resultados en fluidez (Fluency) y naturalidad (Naturalness).
- Sakana Translate ocupa el segundo lugar con 88.0 y logra la mejor integridad (Completeness) en esta ejecución.
- VoicePing MT v0.1 se mantiene cerca del grupo líder con 87.2 y destaca especialmente en fluidez (Fluency) y naturalidad (Naturalness).
- GPT-5 mini, Google Translate y Qwen3.6-27B-FP8 dequant forman un grupo medio muy compacto entre 86 y 87 puntos.
- Azure Translate y Google Translate son los más rápidos en esta configuración; los modelos locales son más lentos aquí.
Conclusión
VoicePing MT v0.1 ya está dentro del grupo líder en calidad de traducción del inglés al japonés. Sus resultados más fuertes están en fluidez (Fluency) y naturalidad (Naturalness), donde se acerca mucho a DeepL y produce japonés que se lee con suavidad, no como una traducción mecánica.
DeepL sigue liderando en conjunto, y Sakana Translate es especialmente fuerte en integridad (Completeness). Pero VoicePing MT v0.1 muestra que el modelo propio de VoicePing puede competir en el rango de calidad que importa para el uso real del producto: preservar el significado del inglés, mantener la salida completa y generar japonés que las personas puedan leer y usar con confianza.
Este benchmark le da a VoicePing una base clara para la siguiente etapa de desarrollo del modelo. La prioridad es seguir mejorando precisión (Accuracy) e integridad (Completeness), sin perder el estilo japonés natural que ya hace competitivo a MT v0.1.
