100件の英日翻訳データをGPT-5.5で評価し、DeepL、Sakana Translate、VoicePing MT v0.1、GPT-5 mini、Google翻訳、Qwen、Azure、Llamaを品質と観測レイテンシで比較しました。
グローバルチームにとって、英語の会話は、正確で完全かつ自然な日本語になって初めて日本で活用しやすくなります。このベンチマークでは、英語ソースを意味を保ちながら自然な日本語に翻訳できるかを評価しました。
概要
| モデル | 総合スコア | 流暢さ（Fluency） | 自然さ（Naturalness） | 正確性（Accuracy） | 網羅性（Completeness） |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
評価設定
評価には英語ソース100行を使用しました。このデータには信頼できる日本語の正解訳がないため、各モデルの出力をGPT-5.5で1モデルずつ評価しました。判定時には英語原文と1つの日本語訳だけを提示しました。
比較対象はDeepL、Sakana Translate、VoicePing MT v0.1、GPT-5 mini、Google翻訳、Qwen3.6-27B-FP8、Azure Translate、Llama 3.1 8Bです。
各行について、正確性（Accuracy）、網羅性（Completeness）、流暢さ（Fluency）、自然さ（Naturalness）を0〜100点で評価しました。見出し指標の 総合スコア は 正確性（Accuracy）x 0.40 + 網羅性（Completeness）x 0.30 + 流暢さ（Fluency）x 0.15 + 自然さ（Naturalness）x 0.15 で計算し、文体より意味の忠実性と情報の完全性を重視しています。
レイテンシは品質とは別に扱います。各candidate CSVのlatency_msから行単位の観測値を集計したもので、プロダクション環境をそろえた速度ベンチマークではありません。API、ローカル推論、ハードウェア、ネットワーク条件が異なるため、運用上の参考値として読んでください。
品質結果
DeepLが89.4の総合スコアで最上位です。Sakana Translateが88.0で続き、VoicePing MT v0.1は87.2でGPT-5 mini、Google翻訳、Qwen、Azure Translate、Llama 3.1 8Bを上回りました。
流暢さ（Fluency）
流暢さ（Fluency）ではDeepLが91.1で最上位、VoicePing MT v0.1が90.7で僅差の2位です。その差は0.4ポイントでした。
自然さ（Naturalness）
自然さ（Naturalness）でもDeepLが89.0で最上位です。VoicePing MT v0.1は87.5で2位となり、GPT-5 mini、Qwen、Google翻訳、Sakana Translate、Azure Translate、Llama 3.1 8Bを上回りました。
正確性（Accuracy）
正確性（Accuracy）ではDeepLが88.7で最上位、Sakana Translateが88.5で僅差です。GPT-5 mini、Google翻訳、Qwen、VoicePing MT v0.1は86点台半ばで近いグループを形成しています。
網羅性（Completeness）
網羅性（Completeness）ではSakana Translateが90.4で最上位です。DeepLとGoogle翻訳が続き、GPT-5 mini、VoicePing MT v0.1、Qwenは86〜87点台で近い結果になりました。
観測レイテンシ
観測レイテンシではAzure TranslateとGoogle翻訳が最速です。API、ローカルモデル、ハードウェア、ネットワーク条件は統一していないため、レイテンシは品質とは別に扱います。
| モデル | 実行形態 | 中央値レイテンシ | 平均レイテンシ | P95レイテンシ |
|---|---|---|---|---|
| Azure Translate | 外部API | 0.18s | 0.18s | 0.27s |
| Google Translate | 外部API | 0.38s | 0.38s | 0.50s |
| DeepL | 外部API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | 外部サービス | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | 外部API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | ローカルモデル | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | ローカルモデル | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | ローカルモデル | 3.96s | 4.19s | 6.09s |
分かったこと
- DeepLは89.4の総合スコアで首位となり、流暢さ（Fluency）と自然さ（Naturalness）で最も高い水準でした。
- Sakana Translateは88.0の総合スコアで2位となり、この実行では網羅性（Completeness）が最も高い結果でした。
- VoicePing MT v0.1は87.2の総合スコアで上位グループに近く、特に流暢さ（Fluency）と自然さ（Naturalness）で競争力があります。
- GPT-5 mini、Google翻訳、Qwen3.6-27B-FP8 dequantは総合スコアが86〜87前後で、近いグループを形成しています。
- 観測レイテンシではAzureとGoogleが最速で、ローカルモデルはこの条件では遅くなりました。
結論
VoicePing MT v0.1は、英日翻訳品質においてすでに上位グループに入っています。特に強いのは流暢さ（Fluency）と自然さ（Naturalness）で、DeepLにかなり近い水準にあり、機械的ではなく滑らかに読める日本語を出力できています。
DeepLは総合的にはまだ首位で、Sakana Translateは網羅性（Completeness）で特に強い結果でした。それでもVoicePing MT v0.1は、実際のプロダクト利用で重要な品質帯で競争できることを示しています。英語の意味を保ち、内容を落とさず、読み手が安心して使える日本語を出せることが重要です。
このベンチマークは、VoicePingが次のモデル開発に進むための明確な基準になります。今後の優先事項は、正確性（Accuracy）と網羅性（Completeness）をさらに高めながら、MT v0.1を競争力のあるものにしている自然な日本語表現を維持することです。
