介紹 VoicePing MT v0.1：以 100 筆英日翻譯資料進行 GPT-5.5 品質評估，並比較 DeepL、Sakana Translate、GPT-5 mini、Google Translate、Qwen、Azure 與 Llama 的品質與觀測延遲。
Introducing VoicePing Translation Model MT V0.1
VoicePing 的翻譯模型要解決的是一個簡單但要求很高的任務：把英文內容轉成可信、可分享、可直接使用的日文。這次基準測試評估的正是這個實務場景：在保留原意的前提下，將英文翻譯成自然的日文。
基準測試總覽
| 模型 | 總分 | 流暢度（Fluency） | 自然度（Naturalness） | 準確性（Accuracy） | 完整性（Completeness） |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
評估設定
本次評估使用 100 筆英文來源文字。由於這批資料沒有可信的日文標準譯文，因此我們採用 GPT-5.5 作為單模型評審：評審看到的是英文原文與對應的日文譯文。
比較對象包括 DeepL、Sakana Translate、VoicePing MT v0.1、GPT-5 mini、Google Translate、Qwen3.6-27B-FP8、Azure Translate 和 Llama 3.1 8B。
每筆資料都會在準確性（Accuracy）、完整性（Completeness）、流暢度（Fluency）、自然度（Naturalness）四個維度上得到 0 到 100 分。最終的總分會以 準確性（Accuracy）x 0.40 + 完整性（Completeness）x 0.30 + 流暢度（Fluency）x 0.15 + 自然度（Naturalness）x 0.15 重新計算，因此語意忠實度與內容完整性比文風更重要。
延遲與品質分開呈現。這裡的延遲取自各候選結果 CSV 中的 latency_ms，是逐筆產生結果時觀測到的數值，不是標準化後的正式服務基準。不同 API、本地模型、硬體與網路路徑都會影響延遲，因此這部分應作為營運參考，而不是品質分數的一部分。
品質結果
DeepL 以 89.4 取得最高總分。Sakana Translate 以 88.0 排名第二，VoicePing MT v0.1 則以 87.2 維持在高分群，領先 GPT-5 mini、Google Translate、Qwen、Azure Translate 和 Llama 3.1 8B。
流暢度（Fluency）
在流暢度（Fluency）上，DeepL 以 91.1 領先，VoicePing MT v0.1 以 90.7 緊追在後，兩者只差 0.4 分。
自然度（Naturalness）
在自然度（Naturalness）上，DeepL 以 89.0 領先。VoicePing MT v0.1 以 87.5 排名第二，高於 GPT-5 mini、Qwen、Google Translate、Sakana Translate、Azure Translate 和 Llama 3.1 8B。
準確性（Accuracy）
在準確性（Accuracy）上，DeepL 以 88.7 領先，Sakana Translate 以 88.5 緊跟在後。GPT-5 mini、Google Translate、Qwen 和 VoicePing MT v0.1 則集中在 86 分左右，彼此差距不大。
完整性（Completeness）
在完整性（Completeness）上，Sakana Translate 以 90.4 領先。DeepL 與 Google Translate 緊接在後，GPT-5 mini、VoicePing MT v0.1 和 Qwen 則集中在 86 到 87 分區間。
觀測延遲
觀測延遲方面，Azure Translate 和 Google Translate 是本次測試中最快的系統。由於 API、本地模型、硬體與網路路徑並未統一，延遲應與品質分數分開解讀。
| 模型 | 執行方式 | 中位延遲 | 平均延遲 | P95 延遲 |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | 託管服務 | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | 本地模型 | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | 本地模型 | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | 本地模型 | 3.96s | 4.19s | 6.09s |
重點發現
- DeepL 以 89.4 的總分位居第一，並在流暢度（Fluency）和自然度（Naturalness）上取得最高分。
- Sakana Translate 以 88.0 的總分排名第二，且在本次測試中取得最高完整性（Completeness）分數。
- VoicePing MT v0.1 的總分為 87.2，與前段系統距離很近，尤其在流暢度（Fluency）和自然度（Naturalness）上具備競爭力。
- GPT-5 mini、Google Translate 和 Qwen3.6-27B-FP8 dequant 形成 86 到 87 分左右的中段群組。
- 在本次觀測中，Azure Translate 和 Google Translate 的延遲最低；本地模型在這個設定下較慢。
結論
VoicePing MT v0.1 已經進入英日翻譯品質的前段群組。它最突出的表現在流暢度（Fluency）和自然度（Naturalness），這兩項都非常接近 DeepL，輸出的日文讀起來順暢，而不是機械式翻譯。
DeepL 整體仍然領先，Sakana Translate 則在完整性（Completeness）上特別強。但 VoicePing MT v0.1 顯示，VoicePing 自研的翻譯模型已經能在真實產品使用所需的品質區間內競爭：保留英文原意、維持輸出完整，並產生讓使用者能放心閱讀與使用的日文。
這個基準測試為 VoicePing 下一階段的模型開發提供了明確起點。接下來的重點，是持續提升準確性（Accuracy）與完整性（Completeness），同時保留讓 MT v0.1 具備競爭力的自然日文風格。
