GPT-5.5 အကဲဖြတ်မှုဖြင့် 100 ကြောင်းပါ အင်္ဂလိပ်-ဂျပန် စမ်းသပ်မှု: VoicePing MT v0.1 ကို DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure နှင့် Llama တို့နှင့် အရည်အသွေးနှင့် တွေ့ရှိထားသော နှောင့်နှေးချိန် (Latency) အရ နှိုင်းယှဉ်ထားသည်။
Introducing VoicePing Translation Model MT V0.1
VoicePing ၏ ဘာသာပြန်မော်ဒယ်သည် ရိုးရှင်းသော်လည်း ကောင်းစွာလုပ်ဆောင်ရန်ခက်သော တာဝန်တစ်ခုအတွက် တည်ဆောက်ထားသည်။ အင်္ဂလိပ်အကြောင်းအရာကို ယုံကြည်နိုင်၊ မျှဝေနိုင်၊ ချက်ချင်းအသုံးပြုနိုင်သော ဂျပန်စာအဖြစ် ပြောင်းလဲရန်ဖြစ်သည်။ ဤ benchmark သည် ထိုအသုံးပြုမှုအခြေအနေကို တိုက်ရိုက်အကဲဖြတ်သည်။ အင်္ဂလိပ်စာသား၏ အဓိပ္ပါယ်ကို ထိန်းသိမ်းပြီး သဘာဝကျသော ဂျပန်စာအဖြစ် ဘာသာပြန်နိုင်မှုကို ကြည့်သည်။
စမ်းသပ်မှု အနှစ်ချုပ်
| မော်ဒယ် | စုစုပေါင်းရမှတ် | ချောမွေ့မှု (Fluency) | သဘာဝကျမှု (Naturalness) | တိကျမှု (Accuracy) | ပြည့်စုံမှု (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
အကဲဖြတ်ပုံ
အတွင်းပိုင်း dataset မှ အင်္ဂလိပ် source စာသား 100 ခုကို အကဲဖြတ်ခဲ့သည်။ ဤ dataset အတွက် ယုံကြည်စိတ်ချရသော ဂျပန် reference translation မရှိသောကြောင့် GPT-5.5 ကို model တစ်ခုချင်းစီအတွက် judge အဖြစ် အသုံးပြုခဲ့သည်။ အကဲဖြတ်တိုင်းတွင် အင်္ဂလိပ် source နှင့် ဆက်စပ်သော ဂျပန်ဘာသာပြန်တစ်ခုသာ ပါဝင်သည်။
နှိုင်းယှဉ်ထားသောစနစ်များမှာ DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate နှင့် Llama 3.1 8B ဖြစ်သည်။
စာကြောင်းတိုင်းကို တိကျမှု (Accuracy), ပြည့်စုံမှု (Completeness), ချောမွေ့မှု (Fluency), သဘာဝကျမှု (Naturalness) အတွက် 0 မှ 100 အထိ အမှတ်ပေးခဲ့သည်။ စုစုပေါင်းရမှတ် ကို တိကျမှု (Accuracy) x 0.40 + ပြည့်စုံမှု (Completeness) x 0.30 + ချောမွေ့မှု (Fluency) x 0.15 + သဘာဝကျမှု (Naturalness) x 0.15 ဖြင့် တွက်ချက်သည်။ ထို့ကြောင့် အဓိပ္ပါယ်ထိန်းသိမ်းမှုနှင့် အချက်အလက်ပြည့်စုံမှုကို style ထက် ပိုအလေးထားသည်။
နှောင့်နှေးချိန် (Latency) ကို အရည်အသွေးရမှတ်နှင့် သီးခြားပြထားသည်။ တန်ဖိုးများသည် candidate CSV တစ်ခုစီရှိ latency_ms မှ ရယူထားသော စာကြောင်းတစ်ကြောင်းချင်းစီ၏ တွေ့ရှိထားသောအချိန်ဖြစ်ပြီး တူညီသော production ပတ်ဝန်းကျင်တွင် ပြုလုပ်ထားသော စမ်းသပ်မှုမဟုတ်ပါ။ API, local hardware နှင့် network path များကွဲပြားသည်။
အရည်အသွေးရလဒ်များ
DeepL သည် စုစုပေါင်းရမှတ် 89.4 ဖြင့် အမြင့်ဆုံးဖြစ်သည်။ Sakana Translate သည် 88.0 ဖြင့် နောက်တွင်ရှိပြီး VoicePing MT v0.1 သည် 87.2 ဖြင့် အပေါ်ပိုင်းအုပ်စုနှင့် နီးကပ်နေသည်။ ၎င်းသည် GPT-5 mini, Google Translate, Qwen, Azure Translate နှင့် Llama 3.1 8B ထက် မြင့်သည်။
ချောမွေ့မှု (Fluency)
ချောမွေ့မှု (Fluency) တွင် DeepL သည် 91.1 ဖြင့် ဦးဆောင်သည်။ VoicePing MT v0.1 သည် 90.7 ဖြင့် အလွန်နီးကပ်ပြီး ကွာဟချက်မှာ 0.4 မှတ်သာဖြစ်သည်။
သဘာဝကျမှု (Naturalness)
သဘာဝကျမှု (Naturalness) တွင်လည်း DeepL သည် 89.0 ဖြင့် ဦးဆောင်သည်။ VoicePing MT v0.1 သည် 87.5 ဖြင့် ဒုတိယနေရာတွင်ရှိပြီး GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate နှင့် Llama 3.1 8B ထက် မြင့်သည်။
တိကျမှု (Accuracy)
တိကျမှု (Accuracy) တွင် DeepL သည် 88.7 ဖြင့် ဦးဆောင်ပြီး Sakana Translate သည် 88.5 ဖြင့် အလွန်နီးကပ်သည်။ GPT-5 mini, Google Translate, Qwen နှင့် VoicePing MT v0.1 သည် 86 မှတ်ဝန်းကျင်တွင် နီးကပ်သောအုပ်စုတစ်ခုဖြစ်သည်။
ပြည့်စုံမှု (Completeness)
ပြည့်စုံမှု (Completeness) တွင် Sakana Translate သည် 90.4 ဖြင့် ဦးဆောင်သည်။ DeepL နှင့် Google Translate သည် နောက်တွင်ရှိပြီး GPT-5 mini, VoicePing MT v0.1 နှင့် Qwen သည် 86 မှ 87 အတွင်း နီးကပ်နေသည်။
တွေ့ရှိထားသော နှောင့်နှေးချိန် (Latency)
ဤ run တွင် နှောင့်နှေးချိန်၏ median တန်ဖိုးအရ Azure Translate နှင့် Google Translate သည် အမြန်ဆုံးစနစ်များဖြစ်သည်။ API, local model, hardware နှင့် network path များကို တူညီအောင်မညှိထားသောကြောင့် နှောင့်နှေးချိန်ကို အရည်အသွေးရမှတ်နှင့် သီးခြားဖတ်သင့်သည်။
| မော်ဒယ် | လုပ်ဆောင်ပုံ | Median နှောင့်နှေးချိန် | Mean နှောင့်နှေးချိန် | P95 နှောင့်နှေးချိန် |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | Hosted service | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | Local model | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | Local model | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | Local model | 3.96s | 4.19s | 6.09s |
အဓိကတွေ့ရှိချက်များ
- DeepL သည် စုစုပေါင်းရမှတ် 89.4 ဖြင့် ဦးဆောင်ပြီး ချောမွေ့မှု (Fluency) နှင့် သဘာဝကျမှု (Naturalness) တွင် အမြင့်ဆုံးရမှတ်ရရှိသည်။
- Sakana Translate သည် 88.0 ဖြင့် ဒုတိယဖြစ်ပြီး ဤ run တွင် ပြည့်စုံမှု (Completeness) အမြင့်ဆုံးဖြစ်သည်။
- VoicePing MT v0.1 သည် 87.2 ဖြင့် အပေါ်ပိုင်းအုပ်စုနှင့် နီးကပ်ပြီး ချောမွေ့မှု (Fluency) နှင့် သဘာဝကျမှု (Naturalness) တွင် အထူးသဖြင့် ယှဉ်ပြိုင်နိုင်သည်။
- GPT-5 mini, Google Translate နှင့် Qwen3.6-27B-FP8 dequant သည် 86 မှ 87 အတွင်း နီးကပ်သောအလယ်အုပ်စုဖြစ်သည်။
- ဤ setup တွင် Azure Translate နှင့် Google Translate သည် အမြန်ဆုံးဖြစ်ပြီး local models များသည် နှေးသည်။
နိဂုံး
VoicePing MT v0.1 သည် အင်္ဂလိပ်-ဂျပန် ဘာသာပြန်အရည်အသွေးတွင် အပေါ်ပိုင်းအုပ်စုထဲသို့ ရောက်ရှိနေပြီဖြစ်သည်။ အထူးသဖြင့် ချောမွေ့မှု (Fluency) နှင့် သဘာဝကျမှု (Naturalness) တွင် အားကောင်းပြီး DeepL နှင့် အလွန်နီးကပ်သည်။ ထွက်လာသော ဂျပန်စာသည် စက်ဖြင့်တိုက်ရိုက်ပြန်ထားသလို မဟုတ်ဘဲ ချောမွေ့စွာ ဖတ်ရှုနိုင်သည်။
DeepL သည် စုစုပေါင်းအရ ဆက်လက်ဦးဆောင်နေပြီး Sakana Translate သည် ပြည့်စုံမှု (Completeness) တွင် အထူးအားကောင်းသည်။ သို့သော် VoicePing MT v0.1 သည် VoicePing ၏ ကိုယ်ပိုင်ဘာသာပြန်မော်ဒယ်က product အသုံးပြုမှုအတွက် အရေးကြီးသော အရည်အသွေးအဆင့်တွင် ယှဉ်ပြိုင်နိုင်ကြောင်း ပြသသည်။ အင်္ဂလိပ်အဓိပ္ပါယ်ကို ထိန်းသိမ်းခြင်း၊ output ကို ပြည့်စုံစွာထားခြင်း၊ နှင့် ယုံကြည်စွာ ဖတ်ရှုအသုံးပြုနိုင်သော ဂျပန်စာ ထုတ်ပေးခြင်းတို့ဖြစ်သည်။
ဤစမ်းသပ်မှုသည် VoicePing အတွက် နောက်ထပ် model development အဆင့်သို့ ဆက်သွားရန် ရှင်းလင်းသော baseline ဖြစ်သည်။ အဓိကဦးစားပေးမှာ တိကျမှု (Accuracy) နှင့် ပြည့်စုံမှု (Completeness) ကို ဆက်လက်မြှင့်တင်ပြီး MT v0.1 ကို ယှဉ်ပြိုင်နိုင်စေသည့် သဘာဝကျသော ဂျပန်စာစတိုင်ကို ဆက်လက်ထိန်းသိမ်းရန်ဖြစ်သည်။
