使用100条英日翻译数据和GPT-5.5评审，对DeepL、Sakana Translate、VoicePing MT v0.1、GPT-5 mini、Google翻译、Qwen、Azure和Llama进行质量与观测延迟比较。
Introducing VoicePing Translation Model MT V0.1
对全球团队来说，英语对话只有转成准确、完整、自然的日语，才能在日本真正发挥作用。本基准测试评估的就是这一实际任务：将英语源文本翻译成既保留含义又自然可读的日语。
概览
| 模型 | 总分 | 流畅度（Fluency） | 自然度（Naturalness） | 准确性（Accuracy） | 完整性（Completeness） |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
评估设置
评估使用100条英语源文本。由于没有可信的日语标准译文，我们采用GPT-5.5逐模型评分。评审每次只看到英语原文和一个日语译文，不会看到其他模型输出或供应商名称。
参与比较的系统包括DeepL、Sakana Translate、VoicePing MT v0.1、GPT-5 mini、Google翻译、Qwen3.6-27B-FP8、Azure Translate和Llama 3.1 8B。
每一行按准确性（Accuracy）、完整性（Completeness）、流畅度（Fluency）、自然度（Naturalness）四个维度给出0到100分。总分按 准确性（Accuracy）x 0.40 + 完整性（Completeness）x 0.30 + 流畅度（Fluency）x 0.15 + 自然度（Naturalness）x 0.15 重新计算，因此语义忠实度和内容完整性的权重高于文风。
延迟与质量分开报告。这里的延迟来自每个候选CSV中的latency_ms，是逐行生成的观测值，不是统一生产环境下的服务基准。API、本地模型、硬件、批处理和网络路径不同，因此应作为运维参考而非质量分。
质量结果
DeepL 的总分最高，为 89.4。Sakana Translate 以 88.0 紧随其后，VoicePing MT v0.1 为 87.2，领先 GPT-5 mini、Google 翻译、Qwen、Azure Translate 和 Llama 3.1 8B。
流畅度（Fluency）
流畅度（Fluency）方面，DeepL 以 91.1 领先，VoicePing MT v0.1 以 90.7 紧随其后，差距为 0.4 分。
自然度（Naturalness）
自然度（Naturalness）方面，DeepL 以 89.0 领先。VoicePing MT v0.1 以 87.5 排名第二，高于 GPT-5 mini、Qwen、Google 翻译、Sakana Translate、Azure Translate 和 Llama 3.1 8B。
准确性（Accuracy）
准确性（Accuracy）方面，DeepL 以 88.7 领先，Sakana Translate 以 88.5 非常接近。GPT-5 mini、Google 翻译、Qwen 和 VoicePing MT v0.1 集中在 86 分左右。
完整性（Completeness）
完整性（Completeness）方面，Sakana Translate 以 90.4 领先。DeepL 和 Google 翻译随后，GPT-5 mini、VoicePing MT v0.1 和 Qwen 集中在 86-87 分区间。
观测延迟
观测延迟方面，Azure Translate 和 Google 翻译最快。由于 API、本地模型、硬件和网络路径并未统一，延迟需要与质量分数分开解读。
| 模型 | 运行方式 | 中位延迟 | 平均延迟 | P95 延迟 |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | 托管服务 | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | 本地模型 | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | 本地模型 | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | 本地模型 | 3.96s | 4.19s | 6.09s |
我们学到了什么
- DeepL 以 89.4 的总分领先，并在流畅度（Fluency）和自然度（Naturalness）上取得最高分。
- VoicePing MT v0.1 的总分为87.2，整体表现接近前列，尤其在流畅度（Fluency）和自然度（Naturalness）上有竞争力。
- GPT-5 mini、Google翻译和Qwen3.6-27B-FP8 dequant整体集中在86到87分附近。
- 在本次观测中Azure和Google最快，本地模型更慢。
结论
VoicePing MT v0.1 已经进入英日翻译质量的前列。它最突出的表现是在流畅度（Fluency）和自然度（Naturalness）上，这两项都非常接近 DeepL，输出的日语读起来顺畅，而不是机械式翻译。
DeepL 整体仍然领先，Sakana Translate 在完整性（Completeness）上尤其强。但 VoicePing MT v0.1 说明，VoicePing 自研翻译模型已经能够在真实产品使用所需的质量区间内竞争：保留英文原意、保持输出完整，并生成用户可以放心阅读和使用的日语。
这个基准为 VoicePing 下一阶段的模型开发提供了清晰起点。接下来的重点，是继续提升准确性（Accuracy）和完整性（Completeness），同时保留让 MT v0.1 具备竞争力的自然日语风格。
