Benchmark inglês-japonês com 100 linhas e avaliação GPT-5.5: VoicePing MT v0.1 comparado com DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure e Llama, incluindo latência observada.
Introducing VoicePing Translation Model MT V0.1
O modelo de tradução da VoicePing foi criado para uma tarefa simples de descrever, mas difícil de executar bem: transformar conteúdo em inglês em japonês confiável, compartilhável e pronto para uso. Este benchmark avalia exatamente esse cenário prático: traduzir texto em inglês para um japonês que preserve o significado e soe natural.
Visão geral do benchmark
| Modelo | Pontuação geral | Fluência (Fluency) | Naturalidade (Naturalness) | Precisão (Accuracy) | Completude (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
Configuração da avaliação
Avaliamos 100 textos-fonte em inglês de um conjunto interno de dados. Como não há uma referência japonesa confiável para esse conjunto, usamos o GPT-5.5 como avaliador de um modelo por vez: em cada caso, ele viu apenas o texto em inglês e uma tradução japonesa correspondente.
Os sistemas comparados foram DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate e Llama 3.1 8B.
Cada linha recebeu uma nota de 0 a 100 em precisão (Accuracy), completude (Completeness), fluência (Fluency) e naturalidade (Naturalness). A pontuação geral é calculada como precisão (Accuracy) x 0.40 + completude (Completeness) x 0.30 + fluência (Fluency) x 0.15 + naturalidade (Naturalness) x 0.15, dando mais peso à fidelidade semântica e à completude do que ao estilo.
A latência é apresentada separadamente da qualidade. Ela vem do campo latency_ms de cada CSV de resultados e representa uma observação por linha, não um benchmark de produção normalizado. APIs, modelos locais, hardware e rotas de rede diferem entre si.
Resultados de qualidade
DeepL alcança a maior pontuação geral, com 89.4. Sakana Translate vem em seguida com 88.0, enquanto VoicePing MT v0.1 permanece perto do topo com 87.2, à frente de GPT-5 mini, Google Translate, Qwen, Azure Translate e Llama 3.1 8B.
Fluência (Fluency)
Em fluência (Fluency), DeepL lidera com 91.1. VoicePing MT v0.1 fica logo atrás com 90.7, uma diferença de apenas 0.4 ponto.
Naturalidade (Naturalness)
Em naturalidade (Naturalness), DeepL também lidera com 89.0. VoicePing MT v0.1 fica em segundo lugar com 87.5, acima de GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate e Llama 3.1 8B.
Precisão (Accuracy)
Em precisão (Accuracy), DeepL lidera com 88.7, muito próximo de Sakana Translate com 88.5. GPT-5 mini, Google Translate, Qwen e VoicePing MT v0.1 formam um grupo apertado em torno de 86 pontos.
Completude (Completeness)
Em completude (Completeness), Sakana Translate lidera com 90.4. DeepL e Google Translate vêm logo depois; GPT-5 mini, VoicePing MT v0.1 e Qwen permanecem próximos entre 86 e 87 pontos.
Latência observada
Azure Translate e Google Translate são os sistemas mais rápidos por latência mediana nesta execução. A latência deve ser lida separadamente da qualidade, porque APIs, modelos locais, hardware e rotas de rede não foram normalizados.
| Modelo | Tipo de execução | Latência mediana | Latência média | Latência P95 |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | Serviço hospedado | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | Modelo local | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | Modelo local | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | Modelo local | 3.96s | 4.19s | 6.09s |
O que aprendemos
- DeepL lidera com pontuação geral de 89.4 e os melhores resultados em fluência (Fluency) e naturalidade (Naturalness).
- Sakana Translate fica em segundo lugar com 88.0 e alcança a maior completude (Completeness) nesta execução.
- VoicePing MT v0.1 permanece próximo ao grupo líder com 87.2, especialmente forte em fluência (Fluency) e naturalidade (Naturalness).
- GPT-5 mini, Google Translate e Qwen3.6-27B-FP8 dequant formam um grupo intermediário muito próximo, entre 86 e 87 pontos.
- Azure Translate e Google Translate são os mais rápidos nesta configuração; os modelos locais são mais lentos aqui.
Conclusão
VoicePing MT v0.1 já está no grupo líder em qualidade de tradução do inglês para o japonês. Seus resultados mais fortes aparecem em fluência (Fluency) e naturalidade (Naturalness), onde fica muito perto do DeepL e produz japonês que se lê de forma suave, sem parecer mecânico.
O DeepL ainda lidera no geral, e o Sakana Translate é especialmente forte em completude (Completeness). Mas o VoicePing MT v0.1 mostra que o modelo de tradução próprio da VoicePing pode competir na faixa de qualidade que importa para uso real do produto: preservar o significado em inglês, manter a saída completa e produzir japonês que as pessoas possam ler e usar com confiança.
Este benchmark dá à VoicePing uma base clara para a próxima etapa de desenvolvimento do modelo. A prioridade é continuar melhorando precisão (Accuracy) e completude (Completeness), preservando ao mesmo tempo o estilo natural em japonês que já torna o MT v0.1 competitivo.
