การทดสอบอังกฤษ-ญี่ปุ่น 100 รายการพร้อมการประเมินโดย GPT-5.5: เปรียบเทียบ VoicePing MT v0.1 กับ DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure และ Llama ทั้งด้านคุณภาพและเวลาแฝงที่สังเกตได้
Introducing VoicePing Translation Model MT V0.1
โมเดลแปลของ VoicePing ถูกออกแบบมาเพื่อโจทย์ที่อธิบายง่าย แต่ทำให้ดีได้ยาก นั่นคือการเปลี่ยนเนื้อหาภาษาอังกฤษให้เป็นภาษาญี่ปุ่นที่เชื่อถือได้ แชร์ต่อได้ และนำไปใช้ได้ทันที Benchmark นี้ประเมินสถานการณ์ใช้งานจริงนั้นโดยตรง: แปลข้อความภาษาอังกฤษเป็นภาษาญี่ปุ่นที่รักษาความหมายและอ่านได้เป็นธรรมชาติ
ภาพรวมการทดสอบ
| โมเดล | คะแนนรวม | ความลื่นไหล (Fluency) | ความเป็นธรรมชาติ (Naturalness) | ความถูกต้อง (Accuracy) | ความครบถ้วน (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
วิธีประเมิน
เราใช้ข้อความต้นทางภาษาอังกฤษ 100 รายการจากชุดข้อมูลภายใน เนื่องจากชุดข้อมูลนี้ไม่มีคำแปลภาษาญี่ปุ่นอ้างอิงที่เชื่อถือได้ เราจึงใช้ GPT-5.5 เป็นผู้ตัดสินแบบประเมินทีละโมเดล โดยแต่ละครั้งจะเห็นเฉพาะข้อความภาษาอังกฤษและคำแปลภาษาญี่ปุ่นที่เกี่ยวข้อง
ระบบที่นำมาเปรียบเทียบคือ DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate และ Llama 3.1 8B
แต่ละรายการให้คะแนน 0 ถึง 100 ในด้านความถูกต้อง (Accuracy), ความครบถ้วน (Completeness), ความลื่นไหล (Fluency) และความเป็นธรรมชาติ (Naturalness) คะแนนรวม คำนวณด้วยสูตร ความถูกต้อง (Accuracy) x 0.40 + ความครบถ้วน (Completeness) x 0.30 + ความลื่นไหล (Fluency) x 0.15 + ความเป็นธรรมชาติ (Naturalness) x 0.15 จึงให้น้ำหนักกับการรักษาความหมายและความครบถ้วนมากกว่าสไตล์ภาษา
ค่าเวลาแฝงแสดงแยกจากคะแนนคุณภาพ โดยมาจากค่า latency_ms ใน CSV ผลลัพธ์ของแต่ละระบบ เป็นค่าที่สังเกตได้ต่อรายการ ไม่ใช่การทดสอบ production ที่ปรับสภาพแวดล้อมให้เท่ากัน API, ฮาร์ดแวร์ของโมเดลที่รันในเครื่อง และเส้นทางเครือข่ายแตกต่างกัน
ผลลัพธ์ด้านคุณภาพ
DeepL ได้คะแนนรวม สูงสุดที่ 89.4 ตามด้วย Sakana Translate ที่ 88.0 ส่วน VoicePing MT v0.1 อยู่ใกล้กลุ่มผู้นำที่ 87.2 และสูงกว่า GPT-5 mini, Google Translate, Qwen, Azure Translate และ Llama 3.1 8B
ความลื่นไหล (Fluency)
ด้านความลื่นไหล (Fluency) DeepL นำที่ 91.1 ส่วน VoicePing MT v0.1 ตามมาอย่างใกล้ชิดที่ 90.7 ต่างกันเพียง 0.4 คะแนน
ความเป็นธรรมชาติ (Naturalness)
ด้านความเป็นธรรมชาติ (Naturalness) DeepL ยังนำที่ 89.0 ส่วน VoicePing MT v0.1 อยู่เป็นอันดับสองที่ 87.5 สูงกว่า GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate และ Llama 3.1 8B
ความถูกต้อง (Accuracy)
ด้านความถูกต้อง (Accuracy) DeepL นำที่ 88.7 โดย Sakana Translate ตามมาติด ๆ ที่ 88.5 ส่วน GPT-5 mini, Google Translate, Qwen และ VoicePing MT v0.1 อยู่ในกลุ่มใกล้กันราว 86 คะแนน
ความครบถ้วน (Completeness)
ด้านความครบถ้วน (Completeness) Sakana Translate นำที่ 90.4 ตามด้วย DeepL และ Google Translate ส่วน GPT-5 mini, VoicePing MT v0.1 และ Qwen อยู่ใกล้กันในช่วง 86 ถึง 87 คะแนน
เวลาแฝงที่สังเกตได้
Azure Translate และ Google Translate เป็นระบบที่เร็วที่สุดเมื่อดูจากค่าเวลาแฝงมัธยฐานในการทดสอบครั้งนี้ ควรอ่านค่าเวลาแฝงแยกจากคะแนนคุณภาพ เพราะ API, โมเดลที่รันในเครื่อง, ฮาร์ดแวร์ และเส้นทางเครือข่ายไม่ได้ถูกปรับให้เท่ากัน
| โมเดล | รูปแบบการรัน | เวลาแฝงมัธยฐาน (Median latency) | เวลาแฝงเฉลี่ย (Mean latency) | เวลาแฝง P95 |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | บริการออนไลน์ | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | โมเดลในเครื่อง | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | โมเดลในเครื่อง | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | โมเดลในเครื่อง | 3.96s | 4.19s | 6.09s |
สิ่งที่พบ
- DeepL นำด้วยคะแนนรวม 89.4 และได้คะแนนสูงสุดในความลื่นไหล (Fluency) และความเป็นธรรมชาติ (Naturalness)
- Sakana Translate อยู่ที่สองด้วย 88.0 และได้คะแนนความครบถ้วน (Completeness) สูงสุดในการทดสอบนี้
- VoicePing MT v0.1 อยู่ใกล้กลุ่มผู้นำที่ 87.2 โดยเด่นเป็นพิเศษด้านความลื่นไหล (Fluency) และความเป็นธรรมชาติ (Naturalness)
- GPT-5 mini, Google Translate และ Qwen3.6-27B-FP8 dequant อยู่ในกลุ่มกลางที่ใกล้กันมากราว 86 ถึง 87 คะแนน
- ในการตั้งค่านี้ Azure Translate และ Google Translate เร็วที่สุด ส่วนโมเดลที่รันในเครื่อง ช้ากว่า
สรุป
VoicePing MT v0.1 อยู่ในกลุ่มผู้นำด้านคุณภาพการแปลอังกฤษ-ญี่ปุ่นแล้ว จุดที่แข็งแกร่งที่สุดคือความลื่นไหล (Fluency) และความเป็นธรรมชาติ (Naturalness) ซึ่งเข้าใกล้ DeepL มาก และให้ภาษาญี่ปุ่นที่อ่านได้ลื่น ไม่รู้สึกเหมือนแปลแบบกลไก
DeepL ยังนำโดยรวม และ Sakana Translate แข็งแกร่งเป็นพิเศษด้านความครบถ้วน (Completeness) แต่ VoicePing MT v0.1 แสดงให้เห็นว่าโมเดลแปลของ VoicePing เองสามารถแข่งขันในระดับคุณภาพที่สำคัญต่อการใช้งานจริงได้ นั่นคือรักษาความหมายของภาษาอังกฤษไว้ ทำให้ผลลัพธ์ครบถ้วน และสร้างภาษาญี่ปุ่นที่ผู้ใช้สามารถอ่านและใช้งานได้อย่างมั่นใจ
การทดสอบนี้เป็น baseline ที่ชัดเจนสำหรับการพัฒนาโมเดลของ VoicePing ในขั้นต่อไป เป้าหมายหลักคือยกระดับความถูกต้อง (Accuracy) และความครบถ้วน (Completeness) ต่อไป พร้อมรักษาสไตล์ภาษาญี่ปุ่นที่เป็นธรรมชาติ ซึ่งทำให้ MT v0.1 แข่งขันได้ตั้งแต่ตอนนี้
