Benchmark Inggeris-ke-Jepun 100 baris dengan penilaian GPT-5.5: VoicePing MT v0.1 dibandingkan dengan DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure dan Llama, termasuk latensi yang diperhatikan.
Introducing VoicePing Translation Model MT V0.1
Model terjemahan VoicePing dibina untuk tugas yang sederhana untuk dijelaskan, tetapi sulit dilakukan dengan baik: mengubah konten berbahasa Inggeris menjadi bahasa Jepun yang dapat dipercaya, mudah dibagikan, dan siap digunakan. Benchmark ini mengevaluasi skenario praktis tersebut: menerjemahkan teks bahasa Inggeris ke bahasa Jepun dengan tetap menjaga makna dan membuat hasilnya terasa alami.
Ringkasan benchmark
| Model | Skor keseluruhan | Kelancaran (Fluency) | Kealamian (Naturalness) | Ketepatan (Accuracy) | Kelengkapan (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
Pengaturan evaluasi
Kami mengevaluasi 100 teks sumber bahasa Inggeris dari dataset internal. Karena tidak ada referensi bahasa Jepun yang dapat dipercaya untuk dataset ini, kami menggunakan GPT-5.5 sebagai penilai satu model pada satu waktu: setiap evaluasi hanya berisi teks sumber bahasa Inggeris dan satu terjemahan bahasa Jepun.
Sistem yang dibandingkan adalah DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate, dan Llama 3.1 8B.
Setiap baris diberi skor 0 sampai 100 untuk ketepatan (Accuracy), kelengkapan (Completeness), kelancaran (Fluency), dan kealamian (Naturalness). Skor keseluruhan dihitung sebagai ketepatan (Accuracy) x 0.40 + kelengkapan (Completeness) x 0.30 + kelancaran (Fluency) x 0.15 + kealamian (Naturalness) x 0.15, sehingga kesetiaan makna dan kelengkapan informasi lebih berbobot daripada gaya bahasa.
Latensi dilaporkan terpisah dari kualitas. Nilainya berasal dari latency_ms pada CSV hasil tiap kandidat dan merupakan pengamatan per baris, bukan benchmark produksi yang dinormalisasi. API, model lokal, hardware, dan jalur jaringan berbeda-beda.
Hasil kualitas
DeepL memperoleh skor keseluruhan tertinggi dengan 89.4. Sakana Translate menyusul dengan 88.0, sementara VoicePing MT v0.1 tetap dekat di 87.2, di depan GPT-5 mini, Google Translate, Qwen, Azure Translate, dan Llama 3.1 8B.
Kelancaran (Fluency)
Pada kelancaran (Fluency), DeepL memimpin dengan 91.1. VoicePing MT v0.1 menyusul sangat dekat dengan 90.7, hanya terpaut 0.4 poin.
Kealamian (Naturalness)
Pada kealamian (Naturalness), DeepL juga memimpin dengan 89.0. VoicePing MT v0.1 berada di posisi kedua dengan 87.5, di atas GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate, dan Llama 3.1 8B.
Ketepatan (Accuracy)
Pada ketepatan (Accuracy), DeepL memimpin dengan 88.7, sangat dekat dengan Sakana Translate di 88.5. GPT-5 mini, Google Translate, Qwen, dan VoicePing MT v0.1 membentuk kelompok yang rapat di kisaran 86 poin.
Kelengkapan (Completeness)
Pada kelengkapan (Completeness), Sakana Translate memimpin dengan 90.4. DeepL dan Google Translate berada di posisi berikutnya, sementara GPT-5 mini, VoicePing MT v0.1, dan Qwen tetap berdekatan di rentang 86 hingga 87 poin.
Latensi yang diamati
Azure Translate dan Google Translate adalah sistem tercepat berdasarkan median latensi pada pengujian ini. Latensi perlu dibaca terpisah dari kualitas karena API, model lokal, hardware, dan jalur jaringan tidak dinormalisasi.
| Model | Cara jalankan | Median latensi | Rata-rata latensi | Latensi P95 |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | Perkhidmatan terhos | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | Model tempatan | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | Model tempatan | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | Model tempatan | 3.96s | 4.19s | 6.09s |
Perkara utama
- DeepL memimpin dengan skor keseluruhan 89.4 dan mendapat nilai tertinggi pada kelancaran (Fluency) dan kealamian (Naturalness).
- Sakana Translate berada di posisi kedua dengan 88.0 dan mencatat kelengkapan (Completeness) tertinggi pada pengujian ini.
- VoicePing MT v0.1 tetap dekat dengan kelompok teratas di 87.2, terutama kuat pada kelancaran (Fluency) dan kealamian (Naturalness).
- GPT-5 mini, Google Translate, dan Qwen3.6-27B-FP8 dequant membentuk kelompok tengah yang rapat di sekitar 86 hingga 87 poin.
- Azure Translate dan Google Translate adalah yang tercepat dalam konfigurasi ini; model lokal lebih lambat pada pengujian ini.
Kesimpulan
VoicePing MT v0.1 sudah berada dalam kumpulan teratas untuk kualiti terjemahan Inggeris-ke-Jepun. Keputusan paling kuatnya ialah pada kelancaran (Fluency) dan kealamian (Naturalness), di mana ia sangat hampir dengan DeepL dan menghasilkan bahasa Jepun yang lancar dibaca, bukan terasa mekanikal.
DeepL masih mendahului secara keseluruhan, dan Sakana Translate sangat kuat pada kelengkapan (Completeness). Namun VoicePing MT v0.1 menunjukkan bahawa model terjemahan VoicePing sendiri boleh bersaing dalam julat kualiti yang penting untuk penggunaan produk sebenar: mengekalkan makna bahasa Inggeris, memastikan output lengkap, dan menghasilkan bahasa Jepun yang boleh dibaca serta digunakan dengan yakin.
Benchmark ini memberi VoicePing asas yang jelas untuk fasa pembangunan model seterusnya. Keutamaannya ialah terus meningkatkan ketepatan (Accuracy) dan kelengkapan (Completeness), sambil mengekalkan gaya bahasa Jepun semula jadi yang sudah menjadikan MT v0.1 kompetitif.
