Benchmark Anh-Nhật 100 dòng với đánh giá GPT-5.5: VoicePing MT v0.1 so sánh với DeepL, Sakana Translate, GPT-5 mini, Google Translate, Qwen, Azure và Llama, kèm độ trễ quan sát được.
Introducing VoicePing Translation Model MT V0.1
Mô hình dịch của VoicePing được xây dựng cho một nhiệm vụ nghe có vẻ đơn giản nhưng rất khó làm tốt: biến nội dung tiếng Anh thành tiếng Nhật đáng tin cậy, dễ chia sẻ và có thể dùng ngay. Benchmark này đánh giá đúng tình huống thực tế đó: dịch văn bản tiếng Anh sang tiếng Nhật sao cho giữ được ý nghĩa và đọc tự nhiên.
Tổng quan benchmark
| Mô hình | Điểm tổng thể | Độ trôi chảy (Fluency) | Độ tự nhiên (Naturalness) | Độ chính xác (Accuracy) | Độ đầy đủ (Completeness) |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
Thiết lập đánh giá
Chúng tôi đánh giá 100 đoạn văn bản nguồn tiếng Anh từ một bộ dữ liệu nội bộ. Vì bộ dữ liệu này không có bản dịch tham chiếu tiếng Nhật đủ tin cậy, chúng tôi dùng GPT-5.5 làm giám khảo theo từng mô hình: mỗi lần đánh giá chỉ gồm văn bản tiếng Anh và một bản dịch tiếng Nhật tương ứng.
Các hệ thống được so sánh gồm DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate và Llama 3.1 8B.
Mỗi dòng được chấm từ 0 đến 100 cho độ chính xác (Accuracy), độ đầy đủ (Completeness), độ trôi chảy (Fluency) và độ tự nhiên (Naturalness). Điểm tổng thể được tính bằng độ chính xác (Accuracy) x 0.40 + độ đầy đủ (Completeness) x 0.30 + độ trôi chảy (Fluency) x 0.15 + độ tự nhiên (Naturalness) x 0.15, nên độ trung thành về nghĩa và độ đầy đủ được ưu tiên hơn phong cách.
Độ trễ được báo cáo riêng với chất lượng. Giá trị này lấy từ trường latency_ms trong CSV kết quả của từng hệ thống và là quan sát theo từng dòng, không phải benchmark phục vụ sản xuất đã chuẩn hóa. API, mô hình chạy cục bộ, phần cứng và đường truyền mạng đều khác nhau.
Kết quả chất lượng
DeepL đạt điểm tổng thể cao nhất với 89.4. Sakana Translate đứng sau với 88.0, còn VoicePing MT v0.1 vẫn ở sát nhóm đầu với 87.2, xếp trên GPT-5 mini, Google Translate, Qwen, Azure Translate và Llama 3.1 8B.
Độ trôi chảy (Fluency)
Ở độ trôi chảy (Fluency), DeepL dẫn đầu với 91.1. VoicePing MT v0.1 theo rất sát với 90.7, chỉ kém 0.4 điểm.
Độ tự nhiên (Naturalness)
Ở độ tự nhiên (Naturalness), DeepL cũng dẫn đầu với 89.0. VoicePing MT v0.1 đứng thứ hai với 87.5, cao hơn GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate và Llama 3.1 8B.
Độ chính xác (Accuracy)
Ở độ chính xác (Accuracy), DeepL dẫn đầu với 88.7, rất sát với Sakana Translate ở mức 88.5. GPT-5 mini, Google Translate, Qwen và VoicePing MT v0.1 tạo thành một nhóm gần nhau quanh mức 86 điểm.
Độ đầy đủ (Completeness)
Ở độ đầy đủ (Completeness), Sakana Translate dẫn đầu với 90.4. DeepL và Google Translate đứng ngay sau, trong khi GPT-5 mini, VoicePing MT v0.1 và Qwen nằm sát nhau trong khoảng 86 đến 87 điểm.
Độ trễ quan sát được
Azure Translate và Google Translate là hai hệ thống nhanh nhất theo độ trễ trung vị trong lần chạy này. Độ trễ cần được đọc tách biệt với chất lượng vì API, mô hình cục bộ, phần cứng và đường truyền mạng không được chuẩn hóa.
| Mô hình | Cách chạy | Độ trễ trung vị | Độ trễ trung bình | Độ trễ P95 |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | Dịch vụ trực tuyến | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | Mô hình cục bộ | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | Mô hình cục bộ | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | Mô hình cục bộ | 3.96s | 4.19s | 6.09s |
Điều rút ra
- DeepL dẫn đầu với điểm tổng thể 89.4 và đạt điểm cao nhất về độ trôi chảy (Fluency) và độ tự nhiên (Naturalness).
- Sakana Translate đứng thứ hai với 88.0 và có điểm độ đầy đủ (Completeness) cao nhất trong lần chạy này.
- VoicePing MT v0.1 vẫn rất gần nhóm đầu với 87.2, đặc biệt cạnh tranh ở độ trôi chảy (Fluency) và độ tự nhiên (Naturalness).
- GPT-5 mini, Google Translate và Qwen3.6-27B-FP8 dequant tạo thành nhóm giữa rất sát nhau quanh 86 đến 87 điểm.
- Azure Translate và Google Translate nhanh nhất trong cấu hình này; các mô hình chạy cục bộ chậm hơn trong lần đo này.
Kết luận
VoicePing MT v0.1 đã nằm trong nhóm dẫn đầu về chất lượng dịch Anh-Nhật. Kết quả mạnh nhất nằm ở độ trôi chảy (Fluency) và độ tự nhiên (Naturalness), nơi mô hình tiến rất gần DeepL và tạo ra tiếng Nhật đọc mượt, không có cảm giác máy móc.
DeepL vẫn dẫn đầu về tổng thể, còn Sakana Translate đặc biệt mạnh ở độ đầy đủ (Completeness). Nhưng VoicePing MT v0.1 cho thấy mô hình dịch riêng của VoicePing có thể cạnh tranh trong vùng chất lượng quan trọng cho sử dụng sản phẩm thực tế: giữ đúng nghĩa tiếng Anh, đảm bảo bản dịch đầy đủ và tạo ra tiếng Nhật mà người dùng có thể đọc và sử dụng với sự tin tưởng.
Benchmark này tạo ra một mốc rõ ràng cho giai đoạn phát triển tiếp theo của VoicePing. Ưu tiên là tiếp tục cải thiện độ chính xác (Accuracy) và độ đầy đủ (Completeness), đồng thời giữ được phong cách tiếng Nhật tự nhiên đã giúp MT v0.1 có sức cạnh tranh.
