GPT-5.5 मूल्यांकन के साथ 100-पंक्ति अंग्रेज़ी-जापानी बेंचमार्क: VoicePing MT v0.1 की DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure और Llama से गुणवत्ता और देखी गई विलंबता (Latency) पर तुलना।
Introducing VoicePing Translation Model MT V0.1
VoicePing का अनुवाद मॉडल एक सरल लेकिन कठिन काम के लिए बनाया गया है: अंग्रेज़ी सामग्री को ऐसी जापानी में बदलना जिस पर भरोसा किया जा सके, जिसे साझा किया जा सके, और जिसे सीधे उपयोग किया जा सके। यह benchmark उसी व्यावहारिक स्थिति को मापता है: अंग्रेज़ी पाठ को जापानी में इस तरह अनुवाद करना कि अर्थ सुरक्षित रहे और भाषा स्वाभाविक लगे।
बेंचमार्क का सारांश
| मॉडल | समग्र स्कोर | प्रवाह (Fluency) | स्वाभाविकता (Naturalness) | सटीकता (Accuracy) | पूर्णता (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
मूल्यांकन सेटअप
हमने आंतरिक dataset से 100 अंग्रेज़ी स्रोत पंक्तियों का मूल्यांकन किया। इस dataset के लिए भरोसेमंद जापानी reference translation उपलब्ध नहीं था, इसलिए हमने GPT-5.5 को एक-model-at-a-time judge के रूप में इस्तेमाल किया: हर मूल्यांकन में केवल अंग्रेज़ी स्रोत और संबंधित जापानी अनुवाद था।
तुलना में DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate और Llama 3.1 8B शामिल थे।
हर पंक्ति को सटीकता (Accuracy), पूर्णता (Completeness), प्रवाह (Fluency), और स्वाभाविकता (Naturalness) पर 0 से 100 तक अंक दिए गए। समग्र स्कोर सटीकता (Accuracy) x 0.40 + पूर्णता (Completeness) x 0.30 + प्रवाह (Fluency) x 0.15 + स्वाभाविकता (Naturalness) x 0.15 से निकाला गया, इसलिए अर्थ की निष्ठा और जानकारी की पूर्णता को शैली से अधिक महत्व दिया गया।
विलंबता (Latency) को गुणवत्ता से अलग दिखाया गया है। यह प्रत्येक candidate CSV के latency_ms से लिया गया प्रति-पंक्ति देखा गया समय है; यह समान उत्पादन वातावरण में चलाया गया बेंचमार्क नहीं है। API प्रदाता, स्थानीय हार्डवेयर और नेटवर्क पथ अलग-अलग हैं।
गुणवत्ता परिणाम
DeepL 89.4 समग्र स्कोर के साथ सबसे ऊपर है। Sakana Translate 88.0 के साथ पीछे है, और VoicePing MT v0.1 87.2 के साथ शीर्ष समूह के काफ़ी पास है, GPT-5 mini, Google Translate, Qwen, Azure Translate और Llama 3.1 8B से आगे।
प्रवाह (Fluency)
प्रवाह (Fluency) में DeepL 91.1 के साथ आगे है। VoicePing MT v0.1 90.7 के साथ बहुत पास है; अंतर केवल 0.4 अंक है।
स्वाभाविकता (Naturalness)
स्वाभाविकता (Naturalness) में भी DeepL 89.0 के साथ आगे है। VoicePing MT v0.1 87.5 के साथ दूसरे स्थान पर है, GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate और Llama 3.1 8B से ऊपर।
सटीकता (Accuracy)
सटीकता (Accuracy) में DeepL 88.7 के साथ आगे है, और Sakana Translate 88.5 के साथ बहुत करीब है। GPT-5 mini, Google Translate, Qwen और VoicePing MT v0.1 लगभग 86 अंकों के आसपास एक कसा हुआ समूह बनाते हैं।
पूर्णता (Completeness)
पूर्णता (Completeness) में Sakana Translate 90.4 के साथ आगे है। DeepL और Google Translate उसके बाद आते हैं; GPT-5 mini, VoicePing MT v0.1 और Qwen 86 से 87 अंकों के बीच काफ़ी पास हैं।
देखी गई विलंबता (Latency)
इस रन में मध्य विलंबता (Median latency) के आधार पर Azure Translate और Google Translate सबसे तेज़ रहे। विलंबता को गुणवत्ता से अलग पढ़ना चाहिए, क्योंकि API, स्थानीय मॉडल, हार्डवेयर और नेटवर्क पथ समान नहीं किए गए हैं।
| मॉडल | चलाने का तरीका | मध्य विलंबता (Median latency) | औसत विलंबता (Mean latency) | P95 विलंबता |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | होस्टेड सेवा | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | स्थानीय मॉडल | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | स्थानीय मॉडल | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | स्थानीय मॉडल | 3.96s | 4.19s | 6.09s |
मुख्य बातें
- DeepL 89.4 समग्र स्कोर के साथ सबसे आगे है और प्रवाह (Fluency) व स्वाभाविकता (Naturalness) में सबसे ऊँचे अंक प्राप्त करता है।
- Sakana Translate 88.0 के साथ दूसरे स्थान पर है और इस run में पूर्णता (Completeness) में सबसे ऊपर है।
- VoicePing MT v0.1 87.2 के साथ शीर्ष समूह के पास है और विशेष रूप से प्रवाह (Fluency) तथा स्वाभाविकता (Naturalness) में मज़बूत है।
- GPT-5 mini, Google Translate और Qwen3.6-27B-FP8 dequant 86 से 87 के आसपास एक करीबी मध्य समूह बनाते हैं।
- इस सेटअप में Azure Translate और Google Translate सबसे तेज़ हैं; स्थानीय मॉडल धीमे रहे।
निष्कर्ष
VoicePing MT v0.1 अंग्रेज़ी-जापानी अनुवाद गुणवत्ता में पहले से ही अग्रणी समूह में है। इसके सबसे मज़बूत परिणाम प्रवाह (Fluency) और स्वाभाविकता (Naturalness) में हैं, जहाँ यह DeepL के बहुत करीब आता है और ऐसा जापानी आउटपुट देता है जो सहज पढ़ा जाता है, मशीन जैसा नहीं लगता।
DeepL अभी भी कुल मिलाकर आगे है, और Sakana Translate पूर्णता (Completeness) में विशेष रूप से मज़बूत है। लेकिन VoicePing MT v0.1 दिखाता है कि VoicePing का अपना अनुवाद मॉडल उस गुणवत्ता स्तर पर प्रतिस्पर्धा कर सकता है जो वास्तविक प्रोडक्ट उपयोग के लिए मायने रखता है: अंग्रेज़ी अर्थ को सुरक्षित रखना, आउटपुट को पूरा रखना, और ऐसा जापानी देना जिसे लोग भरोसे के साथ पढ़ और इस्तेमाल कर सकें।
यह बेंचमार्क VoicePing को मॉडल विकास के अगले चरण के लिए एक स्पष्ट आधार देता है। प्राथमिकता सटीकता (Accuracy) और पूर्णता (Completeness) को और बेहतर करना है, साथ ही उस स्वाभाविक जापानी शैली को बनाए रखना है जो MT v0.1 को पहले से प्रतिस्पर्धी बनाती है।
