Benchmark Inggris-ke-Jepang 100 baris dengan penilaian GPT-5.5: VoicePing MT v0.1 dibandingkan dengan DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure, dan Llama, termasuk latensi teramati.
Introducing VoicePing Translation Model MT V0.1
Model terjemahan VoicePing dirancang untuk tugas yang sederhana untuk dijelaskan, tetapi sulit dilakukan dengan baik: mengubah konten berbahasa Inggris menjadi bahasa Jepang yang dapat dipercaya, mudah dibagikan, dan siap digunakan. Benchmark ini mengevaluasi skenario praktis tersebut: menerjemahkan teks bahasa Inggris ke bahasa Jepang dengan tetap menjaga makna dan membuat hasilnya terasa alami.
Ringkasan benchmark
| Model | Skor keseluruhan | Kelancaran (Fluency) | Kealamian (Naturalness) | Akurasi (Accuracy) | Kelengkapan (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
Pengaturan evaluasi
Kami mengevaluasi 100 teks sumber bahasa Inggris dari dataset internal. Karena tidak ada referensi bahasa Jepang yang dapat dipercaya untuk dataset ini, kami menggunakan GPT-5.5 sebagai penilai satu model pada satu waktu: setiap evaluasi hanya berisi teks sumber bahasa Inggris dan satu terjemahan bahasa Jepang.
Sistem yang dibandingkan adalah DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate, dan Llama 3.1 8B.
Setiap baris diberi skor 0 sampai 100 untuk akurasi (Accuracy), kelengkapan (Completeness), kelancaran (Fluency), dan kealamian (Naturalness). Skor keseluruhan dihitung sebagai akurasi (Accuracy) x 0.40 + kelengkapan (Completeness) x 0.30 + kelancaran (Fluency) x 0.15 + kealamian (Naturalness) x 0.15, sehingga kesetiaan makna dan kelengkapan informasi lebih berbobot daripada gaya bahasa.
Latensi dilaporkan terpisah dari kualitas. Nilainya berasal dari latency_ms pada CSV hasil tiap kandidat dan merupakan pengamatan per baris, bukan benchmark produksi yang dinormalisasi. API, model lokal, hardware, dan jalur jaringan berbeda-beda.
Hasil kualitas
DeepL memperoleh skor keseluruhan tertinggi dengan 89.4. Sakana Translate menyusul dengan 88.0, sementara VoicePing MT v0.1 tetap dekat di 87.2, di depan GPT-5 mini, Google Translate, Qwen, Azure Translate, dan Llama 3.1 8B.
Kelancaran (Fluency)
Pada kelancaran (Fluency), DeepL memimpin dengan 91.1. VoicePing MT v0.1 menyusul sangat dekat dengan 90.7, hanya terpaut 0.4 poin.
Kealamian (Naturalness)
Pada kealamian (Naturalness), DeepL juga memimpin dengan 89.0. VoicePing MT v0.1 berada di posisi kedua dengan 87.5, di atas GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate, dan Llama 3.1 8B.
Akurasi (Accuracy)
Pada akurasi (Accuracy), DeepL memimpin dengan 88.7, sangat dekat dengan Sakana Translate di 88.5. GPT-5 mini, Google Translate, Qwen, dan VoicePing MT v0.1 membentuk kelompok yang rapat di kisaran 86 poin.
Kelengkapan (Completeness)
Pada kelengkapan (Completeness), Sakana Translate memimpin dengan 90.4. DeepL dan Google Translate berada di posisi berikutnya, sementara GPT-5 mini, VoicePing MT v0.1, dan Qwen tetap berdekatan di rentang 86 hingga 87 poin.
Latensi yang diamati
Azure Translate dan Google Translate adalah sistem tercepat berdasarkan median latensi pada pengujian ini. Latensi perlu dibaca terpisah dari kualitas karena API, model lokal, hardware, dan jalur jaringan tidak dinormalisasi.
| Model | Cara menjalankan | Median latensi | Rata-rata latensi | Latensi P95 |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | Layanan terkelola | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | Model lokal | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | Model lokal | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | Model lokal | 3.96s | 4.19s | 6.09s |
Temuan utama
- DeepL memimpin dengan skor keseluruhan 89.4 dan mendapat nilai tertinggi pada kelancaran (Fluency) dan kealamian (Naturalness).
- Sakana Translate berada di posisi kedua dengan 88.0 dan mencatat kelengkapan (Completeness) tertinggi pada pengujian ini.
- VoicePing MT v0.1 tetap dekat dengan kelompok teratas di 87.2, terutama kuat pada kelancaran (Fluency) dan kealamian (Naturalness).
- GPT-5 mini, Google Translate, dan Qwen3.6-27B-FP8 dequant membentuk kelompok tengah yang rapat di sekitar 86 hingga 87 poin.
- Azure Translate dan Google Translate adalah yang tercepat dalam konfigurasi ini; model lokal lebih lambat pada pengujian ini.
Kesimpulan
VoicePing MT v0.1 sudah masuk kelompok terdepan untuk kualitas terjemahan Inggris-ke-Jepang. Hasil terkuatnya ada pada kelancaran (Fluency) dan kealamian (Naturalness), di mana nilainya sangat dekat dengan DeepL dan menghasilkan bahasa Jepang yang terasa mulus, bukan mekanis.
DeepL masih memimpin secara keseluruhan, dan Sakana Translate sangat kuat pada kelengkapan (Completeness). Namun VoicePing MT v0.1 menunjukkan bahwa model terjemahan milik VoicePing sendiri dapat bersaing pada rentang kualitas yang penting untuk penggunaan produk nyata: menjaga makna bahasa Inggris, mempertahankan kelengkapan output, dan menghasilkan bahasa Jepang yang bisa dibaca serta digunakan dengan percaya diri.
Benchmark ini memberi VoicePing dasar yang jelas untuk tahap pengembangan model berikutnya. Prioritasnya adalah terus meningkatkan akurasi (Accuracy) dan kelengkapan (Completeness), sambil mempertahankan gaya bahasa Jepang alami yang sudah membuat MT v0.1 kompetitif.
