영어-일본어 100개 행을 GPT-5.5로 평가하여 DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen, Azure, Llama의 품질과 관측 지연시간을 비교했습니다.
Introducing VoicePing Translation Model MT V0.1
글로벌 팀에서 영어 대화는 정확하고 완전하며 자연스러운 일본어가 될 때 일본에서 실제로 활용되기 쉽습니다. 이번 벤치마크는 영어 원문을 의미를 보존하면서 자연스러운 일본어로 번역하는 능력을 평가합니다.
개요
| 모델 | 종합 점수 | 유창성（Fluency） | 자연스러움（Naturalness） | 정확성（Accuracy） | 완전성（Completeness） |
|---|---|---|---|---|---|
| DeepL | 89.4 | 91.1 | 89.0 | 88.7 | 89.7 |
| Sakana Translate | 88.0 | 86.7 | 83.2 | 88.5 | 90.4 |
| VoicePing MT v0.1 | 87.2 | 90.7 | 87.5 | 86.0 | 86.8 |
| GPT-5 mini | 87.0 | 88.4 | 85.5 | 86.9 | 87.1 |
| Google Translate | 86.7 | 87.1 | 83.0 | 86.4 | 88.6 |
| Qwen3.6-27B-FP8 dequant | 86.3 | 88.0 | 84.9 | 86.4 | 86.2 |
| Azure Translate | 79.2 | 78.5 | 73.3 | 79.1 | 82.6 |
| Llama 3.1 8B | 72.2 | 71.7 | 65.4 | 72.8 | 75.1 |
평가 설정
평가는 영어 원문 100행으로 진행했습니다. 신뢰할 수 있는 일본어 정답 번역이 없기 때문에 GPT-5.5 judge가 모델별로 따로 평가했습니다. judge에는 영어 원문과 하나의 일본어 번역만 제공했습니다.
비교 대상은 DeepL, Sakana Translate, VoicePing MT v0.1, GPT-5 mini, Google Translate, Qwen3.6-27B-FP8, Azure Translate, Llama 3.1 8B입니다.
각 행은 정확성（Accuracy）, 완전성（Completeness）, 유창성（Fluency）, 자연스러움（Naturalness）을 0~100점으로 평가했습니다. 핵심 지표인 종합 점수는 정확성（Accuracy）x 0.40 + 완전성（Completeness）x 0.30 + 유창성（Fluency）x 0.15 + 자연스러움（Naturalness）x 0.15로 계산하여 문체보다 의미 보존과 정보 완전성을 더 크게 반영합니다.
지연시간은 품질과 별도로 보고합니다. 각 후보 CSV의 latency_ms에서 관측한 행 단위 생성 시간이며, 동일 조건의 프로덕션 서빙 벤치마크는 아닙니다. API, 로컬 모델, 하드웨어, 네트워크 경로가 다르므로 운영 참고값으로 해석해야 합니다.
품질 결과
DeepL이 종합 점수 89.4로 가장 높습니다. Sakana Translate가 88.0으로 뒤를 잇고, VoicePing MT v0.1은 87.2로 GPT-5 mini, Google Translate, Qwen, Azure Translate, Llama 3.1 8B보다 앞섭니다.
유창성（Fluency）
유창성（Fluency）에서는 DeepL이 91.1로 가장 높고 VoicePing MT v0.1이 90.7로 근접한 2위입니다. 차이는 0.4점입니다.
자연스러움（Naturalness）
자연스러움（Naturalness）에서도 DeepL이 89.0으로 가장 높습니다. VoicePing MT v0.1은 87.5로 2위이며 GPT-5 mini, Qwen, Google Translate, Sakana Translate, Azure Translate, Llama 3.1 8B보다 앞섭니다.
정확성（Accuracy）
정확성（Accuracy）에서는 DeepL이 88.7로 가장 높고 Sakana Translate가 88.5로 매우 가깝습니다. GPT-5 mini, Google Translate, Qwen, VoicePing MT v0.1은 86점대 중반의 촘촘한 그룹을 이룹니다.
완전성（Completeness）
완전성（Completeness）에서는 Sakana Translate가 90.4로 가장 높습니다. DeepL과 Google Translate가 그 뒤를 따르고, GPT-5 mini, VoicePing MT v0.1, Qwen은 86-87점대에서 비슷합니다.
관측 지연시간
관측 지연시간에서는 Azure Translate와 Google Translate가 가장 빠릅니다. API, 로컬 모델, 하드웨어, 네트워크 조건을 통제하지 않았기 때문에 지연시간은 품질과 별도로 봅니다.
| 모델 | 실행 방식 | 중앙값 지연시간 | 평균 지연시간 | P95 지연시간 |
|---|---|---|---|---|
| Azure Translate | API | 0.18s | 0.18s | 0.27s |
| Google Translate | API | 0.38s | 0.38s | 0.50s |
| DeepL | API | 1.18s | 1.21s | 1.37s |
| Sakana Translate | 호스팅 서비스 | 1.92s | 2.07s | 3.37s |
| GPT-5 mini | API | 2.20s | 2.26s | 3.03s |
| VoicePing MT v0.1 | 로컬 모델 | 2.70s | 2.73s | 3.80s |
| Llama 3.1 8B | 로컬 모델 | 3.14s | 3.12s | 4.35s |
| Qwen3.6-27B-FP8 dequant | 로컬 모델 | 3.96s | 4.19s | 6.09s |
배운 점
- DeepL은 종합 점수 89.4로 품질 순위 1위이며 유창성（Fluency）과 자연스러움（Naturalness）에서 가장 높은 점수를 받았습니다.
- Sakana Translate는 종합 점수 88.0으로 2위를 기록했으며, 이번 실행에서 완전성（Completeness）이 가장 높았습니다.
- VoicePing MT v0.1는 종합 점수 87.2로 상위 그룹에 가깝고 유창성（Fluency）과 자연스러움（Naturalness）에서 특히 경쟁력이 있습니다.
- GPT-5 mini, Google Translate, Qwen3.6-27B-FP8 dequant는 종합 점수 86~87 부근의 촘촘한 그룹을 형성합니다.
- 관측 지연시간에서는 Azure와 Google이 가장 빨랐고, 로컬 모델은 이 설정에서 더 느렸습니다.
결론
VoicePing MT v0.1은 영어-일본어 번역 품질에서 이미 상위 그룹에 들어왔습니다. 특히 유창성（Fluency）과 자연스러움（Naturalness）에서 강점을 보였고, DeepL에 매우 가까운 수준으로 기계적인 느낌이 아니라 매끄럽게 읽히는 일본어를 생성합니다.
DeepL은 여전히 종합적으로 선두이고, Sakana Translate는 완전성（Completeness）에서 특히 강했습니다. 하지만 VoicePing MT v0.1은 실제 제품 사용에서 중요한 품질 범위에서 경쟁할 수 있음을 보여줍니다. 영어의 의미를 보존하고, 내용을 빠뜨리지 않으며, 사용자가 신뢰하고 활용할 수 있는 일본어를 만드는 것이 핵심입니다.
이번 벤치마크는 VoicePing이 다음 단계의 모델 개발로 나아가기 위한 명확한 기준점입니다. 앞으로의 우선순위는 정확성（Accuracy）과 완전성（Completeness）을 더 높이면서, MT v0.1을 이미 경쟁력 있게 만드는 자연스러운 일본어 스타일을 유지하는 것입니다.
