GPT-5.5 मूल्याङ्कनसहित 100-पंक्ति अंग्रेजी-जापानी बेंचमार्क: VoicePing MT v0.1 लाई DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure र Llama सँग गुणस्तर र देखिएको विलम्बता (Latency) मा तुलना गरियो।
Introducing VoicePing Translation Model MT V0.1
VoicePing को अनुवाद मोडेल एउटा सरल तर कठिन कामका लागि बनाइएको हो: अंग्रेजी सामग्रीलाई विश्वास गर्न मिल्ने, साझा गर्न मिल्ने र तुरुन्त प्रयोग गर्न मिल्ने जापानीमा रूपान्तरण गर्नु। यो benchmark ले त्यही व्यावहारिक अवस्थालाई मूल्याङ्कन गर्छ: अंग्रेजी पाठलाई अर्थ जोगाएर, प्राकृतिक रूपमा पढिने जापानीमा अनुवाद गर्न सकिन्छ कि सकिँदैन।
बेंचमार्कको सारांश
| मोडेल | समग्र स्कोर | प्रवाह (Fluency) | स्वाभाविकता (Naturalness) | शुद्धता (Accuracy) | पूर्णता (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
मूल्याङ्कन सेटअप
हामीले आन्तरिक dataset बाट 100 अंग्रेजी स्रोत पाठहरू मूल्याङ्कन गर्यौं। यो dataset का लागि भरपर्दो जापानी reference translation नभएकाले, GPT-5.5 लाई single-model judge का रूपमा प्रयोग गरियो: प्रत्येक मूल्याङ्कनमा अंग्रेजी स्रोत र त्यसको जापानी अनुवाद मात्र थियो।
तुलना गरिएका प्रणालीहरू DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate र Llama 3.1 8B हुन्।
हरेक पंक्तिलाई शुद्धता (Accuracy), पूर्णता (Completeness), प्रवाह (Fluency) र स्वाभाविकता (Naturalness) मा 0 देखि 100 सम्म अंक दिइयो। समग्र स्कोर शुद्धता (Accuracy) x 0.40 + पूर्णता (Completeness) x 0.30 + प्रवाह (Fluency) x 0.15 + स्वाभाविकता (Naturalness) x 0.15 बाट गणना गरियो, त्यसैले अर्थको निष्ठा र जानकारीको पूर्णतालाई शैलीभन्दा बढी वजन दिइयो।
विलम्बता (Latency) लाई गुणस्तरबाट अलग देखाइएको छ। यो प्रत्येक candidate CSV को latency_ms बाट लिइएको प्रति-पंक्ति अवलोकित समय हो; यो समान उत्पादन वातावरणमा गरिएको बेंचमार्क होइन। API, स्थानीय हार्डवेयर र नेटवर्क पथ फरक छन्।
गुणस्तर परिणाम
DeepL 89.4 समग्र स्कोर सहित शीर्षमा छ। Sakana Translate 88.0 सहित दोस्रो छ, र VoicePing MT v0.1 87.2 सहित शीर्ष समूह नजिक रहन्छ, GPT-5 mini, Google Translate, Qwen, Azure Translate र Llama 3.1 8B भन्दा अगाडि।
प्रवाह (Fluency)
प्रवाह (Fluency) मा DeepL 91.1 सहित अगाडि छ। VoicePing MT v0.1 90.7 सहित निकै नजिक छ; फरक 0.4 अंक मात्र हो।
स्वाभाविकता (Naturalness)
स्वाभाविकता (Naturalness) मा पनि DeepL 89.0 सहित अगाडि छ। VoicePing MT v0.1 87.5 सहित दोस्रो स्थानमा छ, GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate र Llama 3.1 8B भन्दा माथि।
शुद्धता (Accuracy)
शुद्धता (Accuracy) मा DeepL 88.7 सहित अगाडि छ, Sakana Translate 88.5 सहित धेरै नजिक छ। GPT-5 mini, Google Translate, Qwen र VoicePing MT v0.1 करिब 86 अंक वरिपरि सघन समूह बनाउँछन्।
पूर्णता (Completeness)
पूर्णता (Completeness) मा Sakana Translate 90.4 सहित अगाडि छ। त्यसपछि DeepL र Google Translate छन्; GPT-5 mini, VoicePing MT v0.1 र Qwen 86 देखि 87 अंकको दायरामा नजिक छन्।
देखिएको विलम्बता (Latency)
यस रनमा मध्य विलम्बता (Median latency) का आधारमा Azure Translate र Google Translate सबैभन्दा छिटो थिए। विलम्बतालाई गुणस्तरबाट अलग पढ्नुपर्छ, किनकि API, स्थानीय मोडेल, हार्डवेयर र नेटवर्क पथ समान बनाइएका छैनन्।
| मोडेल | चलाउने तरिका | मध्य विलम्बता (Median latency) | औसत विलम्बता (Mean latency) | P95 विलम्बता |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | होस्टेड सेवा | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | स्थानीय मोडेल | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | स्थानीय मोडेल | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | स्थानीय मोडेल | 3.96s | 4.19s | 6.09s |
मुख्य निष्कर्ष
- DeepL 89.4 समग्र स्कोर सहित अगाडि छ र प्रवाह (Fluency) तथा स्वाभाविकता (Naturalness) मा उच्चतम अंक पाउँछ।
- Sakana Translate 88.0 सहित दोस्रो छ र यस run मा पूर्णता (Completeness) मा उच्चतम छ।
- VoicePing MT v0.1 87.2 सहित शीर्ष समूह नजिक छ, विशेष गरी प्रवाह (Fluency) र स्वाभाविकता (Naturalness) मा बलियो।
- GPT-5 mini, Google Translate र Qwen3.6-27B-FP8 dequant 86 देखि 87 अंक वरिपरि नजिकको मध्य समूह बनाउँछन्।
- यस सेटअपमा Azure Translate र Google Translate सबैभन्दा छिटो छन्; स्थानीय मोडेलहरू सुस्त छन्।
निष्कर्ष
VoicePing MT v0.1 अंग्रेजी-जापानी अनुवाद गुणस्तरमा पहिले नै अग्रणी समूहमा पुगेको छ। यसको सबैभन्दा बलियो नतिजा प्रवाह (Fluency) र स्वाभाविकता (Naturalness) मा देखिन्छ, जहाँ यो DeepL सँग धेरै नजिक छ र मेसिनजस्तो नभई सहज रूपमा पढिने जापानी output दिन्छ।
DeepL अझै समग्र रूपमा अगाडि छ, र Sakana Translate पूर्णता (Completeness) मा विशेष रूपमा बलियो छ। तर VoicePing MT v0.1 ले VoicePing को आफ्नै अनुवाद मोडेल वास्तविक product use का लागि महत्त्वपूर्ण गुणस्तर दायरामा प्रतिस्पर्धा गर्न सक्ने देखाउँछ: अंग्रेजी अर्थ जोगाउने, output पूरा राख्ने, र मानिसहरूले विश्वासका साथ पढ्न र प्रयोग गर्न सक्ने जापानी उत्पादन गर्ने।
यो बेंचमार्क VoicePing का लागि मोडेल विकासको अर्को चरणमा अघि बढ्ने स्पष्ट आधार हो। अबको प्राथमिकता शुद्धता (Accuracy) र पूर्णता (Completeness) अझ सुधार्नु, र MT v0.1 लाई प्रतिस्पर्धी बनाइरहेको स्वाभाविक जापानी शैली जोगाइराख्नु हो।
