GPT-5.5 değerlendirmesiyle 100 satırlık İngilizce-Japonca benchmark: VoicePing MT v0.1; DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure ve Llama ile kalite ve gözlenen gecikme açısından karşılaştırıldı.
Introducing VoicePing Translation Model MT V0.1
VoicePing’in çeviri modeli, anlatması kolay ama iyi yapması zor bir görev için geliştirildi: İngilizce içeriği güvenilir, paylaşılabilir ve doğrudan kullanılabilir Japoncaya dönüştürmek. Bu benchmark tam olarak bu pratik senaryoyu değerlendiriyor: İngilizce metni, anlamı koruyan ve Japoncada doğal okunan bir çeviriye dönüştürmek.
Benchmark Özeti
| Model | Genel puan | Akıcılık (Fluency) | Doğallık (Naturalness) | Doğruluk (Accuracy) | Eksiksizlik (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
Değerlendirme Kurulumu
İç veri setimizden 100 İngilizce kaynak metin değerlendirdik. Bu veri seti için güvenilir bir Japonca referans çeviri olmadığı için GPT-5.5’i tek model değerlendirmesi yapan hakem olarak kullandık: her değerlendirmede yalnızca İngilizce kaynak metin ve ona karşılık gelen bir Japonca çeviri vardı.
Karşılaştırılan sistemler DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate ve Llama 3.1 8B idi.
Her satır doğruluk (Accuracy), eksiksizlik (Completeness), akıcılık (Fluency) ve doğallık (Naturalness) için 0 ile 100 arasında puanlandı. Genel puan, doğruluk (Accuracy) x 0.40 + eksiksizlik (Completeness) x 0.30 + akıcılık (Fluency) x 0.15 + doğallık (Naturalness) x 0.15 formülüyle hesaplandı. Böylece anlam sadakati ve bilgi eksiksizliği, üsluptan daha yüksek ağırlık aldı.
Gecikme kalite puanından ayrı raporlandı. Değerler her adayın sonuç CSV’sindeki latency_ms alanından alındı ve satır başına gözlenen süreyi gösterir; standartlaştırılmış bir üretim ortamı benchmark’ı değildir. API sağlayıcıları, yerel model donanımı ve ağ yolları farklıdır.
Kalite Sonuçları
DeepL, 89.4 genel puan ile ilk sırada yer alıyor. Sakana Translate 88.0 ile onu izliyor; VoicePing MT v0.1 ise 87.2 ile üst gruba yakın kalıyor ve GPT-5 mini, Google Translate, Qwen, Azure Translate ve Llama 3.1 8B’nin önünde yer alıyor.
Akıcılık (Fluency)
Akıcılıkta (Fluency) DeepL 91.1 ile lider. VoicePing MT v0.1, 90.7 ile çok yakın ikinci sırada; fark yalnızca 0.4 puan.
Doğallık (Naturalness)
Doğallıkta (Naturalness) da DeepL 89.0 ile lider. VoicePing MT v0.1, 87.5 ile ikinci sırada ve GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate ve Llama 3.1 8B’nin önünde.
Doğruluk (Accuracy)
Doğrulukta (Accuracy) DeepL 88.7 ile önde, Sakana Translate ise 88.5 ile çok yakın. GPT-5 mini, Google Translate, Qwen ve VoicePing MT v0.1 86 puan civarında sıkı bir grup oluşturuyor.
Eksiksizlik (Completeness)
Eksiksizlikte (Completeness) Sakana Translate 90.4 ile lider. DeepL ve Google Translate onu izliyor; GPT-5 mini, VoicePing MT v0.1 ve Qwen 86-87 puan aralığında birbirine yakın.
Gözlenen Gecikme
Bu çalışmada medyan gecikmeye göre en hızlı sistemler Azure Translate ve Google Translate oldu. API’ler, yerel modeller, donanım ve ağ yolları standartlaştırılmadığı için gecikme, kalite puanından ayrı okunmalıdır.
| Model | Çalıştırma türü | Medyan gecikme | Ortalama gecikme | P95 gecikme |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | Barındırılan servis | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | Yerel model | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | Yerel model | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | Yerel model | 3.96s | 4.19s | 6.09s |
Öne Çıkan Bulgular
- DeepL, 89.4 genel puan ile lider ve akıcılık (Fluency) ile doğallıkta (Naturalness) en yüksek puanları aldı.
- Sakana Translate 88.0 ile ikinci sırada ve bu çalışmada en yüksek eksiksizlik (Completeness) puanını aldı.
- VoicePing MT v0.1, 87.2 ile üst gruba yakın ve özellikle akıcılık (Fluency) ile doğallıkta (Naturalness) güçlü.
- GPT-5 mini, Google Translate ve Qwen3.6-27B-FP8 dequant 86-87 puan civarında sıkı bir orta grup oluşturuyor.
- Bu kurulumda Azure Translate ve Google Translate en hızlı sistemler; yerel modeller daha yavaş kaldı.
Sonuç
VoicePing MT v0.1, İngilizce-Japonca çeviri kalitesinde şimdiden lider gruba girmiş durumda. En güçlü sonuçları akıcılık (Fluency) ve doğallık (Naturalness) tarafında; bu alanlarda DeepL’e çok yaklaşıyor ve mekanik görünmeyen, akıcı okunan Japonca çıktılar üretiyor.
DeepL genel olarak hâlâ lider, Sakana Translate ise eksiksizlik (Completeness) tarafında özellikle güçlü. Ancak VoicePing MT v0.1, VoicePing’in kendi çeviri modelinin gerçek ürün kullanımı için önemli olan kalite aralığında rekabet edebileceğini gösteriyor: İngilizce anlamı korumak, çıktıyı eksiksiz tutmak ve insanların güvenle okuyup kullanabileceği Japonca üretmek.
Bu benchmark, VoicePing’e model geliştirmenin bir sonraki aşaması için net bir başlangıç noktası veriyor. Öncelik, doğruluk (Accuracy) ve eksiksizliği (Completeness) daha da iyileştirirken MT v0.1’i rekabetçi yapan doğal Japonca üslubunu korumak.
