영어, 일본어, 한국어, 중국어, 베트남어를 지원하는 다국어 음성-텍스트 변환 모델, VoicePing ASR Model V0.1을 소개합니다.
VoicePing ASR Model V0.1을 소개합니다
오늘 저희는 VoicePing에서 가장 많이 사용되는 언어인 영어, 일본어, 한국어, 중국어, 베트남어를 지원하는 다국어 음성-텍스트 변환 모델, VoicePing ASR Model V0.1을 소개합니다.
VoicePing은 다국어 음성 커뮤니케이션을 중심으로 만들어진 제품입니다. 회의, 이벤트, 음성 번역, 전사 기록, 요약, 검색이 모두 여기에 해당합니다. 이러한 워크플로에서 ASR(자동 음성 인식, Automatic Speech Recognition)은 독립된 하나의 기능이 아니라, 제품 경험 전체의 첫 번째 층입니다. 전사 결과가 불안정하면 그 이후의 모든 단계가 함께 흔들리게 됩니다.
VoicePing ASR Model V0.1은 바로 이런 현실을 위해 설계되었습니다. 저희가 가장 집중적으로 서비스하는 다섯 개 핵심 언어에 초점을 맞추어, 실제 대화에서 더 깨끗한 전사 결과를 만들어내는 것을 목표로 합니다.
다국어 업무를 위한 하나의 모델
범용 음성 인식 기술은 빠르게 발전해 왔지만, 실제 다국어 오디오에는 여전히 까다로운 지점들이 남아 있습니다.
- 일본어, 한국어, 중국어는 언어 특성을 고려한 텍스트 처리가 필요합니다.
- 베트남어는 정확한 성조 표기와 단어 경계에 크게 의존합니다.
- 길거나 잡음이 많은 클립에서는 부분 전사, 빈 출력, 반복 텍스트가 나타날 수 있습니다.
- 클라우드 모델은 API는 동일해 보여도 언어에 따라 다르게 동작할 수 있습니다.
- 공개 벤치마크에서 좋은 성적을 내는 시스템이 회의, 이벤트, 음성 번역에 반드시 가장 잘 맞는 것은 아닙니다.
VoicePing ASR Model V0.1은 이 다섯 개 언어로 이루어진 제품 영역을 중심으로 만든 저희의 첫 통합 모델입니다. 아래 벤치마크는 실용적인 질문 하나를 던집니다. 우리 사용자가 실제로 중요하게 여기는 음성을 이 모델이 얼마나 잘 전사하는가?
무엇을 하는 모델인가
VoicePing ASR Model V0.1은 다음 언어의 음성을 전사합니다.
- 영어
- 일본어
- 한국어
- 중국어
- 베트남어
이 모델의 출력은 번역, 자막, 회의록, 검색 가능한 대화 기록 등 VoicePing의 후속 기능을 뒷받침하는 전사 결과입니다.
이 글에서는 ASR과 STT(음성-텍스트 변환, Speech-to-Text)를 같은 의미로 사용합니다. 둘 다 음성을 텍스트로 전사하는 것을 뜻합니다.
평가
데이터셋
평가에는 언어별 1,000개 클립, 총 약 41시간 분량의 다국어 VoicePing 음성 데이터셋을 사용했습니다. 클립들은 깨끗하게 낭독된 녹음이 아니라 실제 대화, 즉 VoicePing이 실무에서 다루는 종류의 음성을 반영합니다.
| 언어 | 클립 수 |
|---|---|
| 영어 | 1,000 |
| 일본어 | 1,000 |
| 베트남어 | 1,000 |
| 한국어 | 1,000 |
| 중국어 | 1,000 |
| 합계 | 5,000 |
모든 시스템은 동일한 오디오 세트로 테스트했습니다.
비교 대상 모델
VoicePing ASR Model V0.1을 널리 사용되는 클라우드 음성 시스템 및 오픈 ASR 모델들과 비교했습니다. 비교 대상에는 Google Cloud STT, Azure AI Speech, OpenAI 전사 모델, ElevenLabs Scribe v2, Deepgram Nova-3, Qwen3-ASR, SenseVoiceSmall이 포함됩니다.
평가 지표
핵심 지표는 **단어 오류율(WER, Word Error Rate)**로, 낮을수록 좋습니다. WER은 사람이 작성한 기준 전사와 비교해 얼마나 많은 단어가 삽입, 삭제, 대체되었는지를 측정합니다.
지연 시간
프로덕션 ASR에서는 정확도만이 요구 사항의 전부가 아닙니다. 각 시스템이 전사 결과를 반환하는 데 걸리는 시간도 함께 측정했습니다. 정확하지만 느린 모델은 실시간 회의와 이벤트에서 여전히 만족스럽지 못한 경험을 줄 수 있기 때문입니다.
주요 결과
아래 차트는 이번 벤치마크에서 VoicePing ASR Model V0.1과 외부 음성-텍스트 변환 시스템들의 다섯 개 언어 평균 단어 오류율을 비교한 것입니다. 막대가 낮을수록 좋습니다. 언어별 차트는 결과 섹션에서 이어집니다.
언어별 정확도
| 시스템 | EN WER | JA WER | VI WER | KO WER | ZH WER | 매크로 WER |
|---|---|---|---|---|---|---|
| VoicePing ASR Model V0.1 | 20.2% | 20.4% | 15.5% | 24.5% | 16.0% | 19.3% |
| Google Cloud STT V1 default | 23.1% | 23.5% | 52.1% | 57.8% | 44.2% | 40.1% |
| Google Cloud STT Chirp 2 | 24.5% | 29.7% | 14.8% | 32.8% | 22.6% | 24.9% |
| Google Cloud STT Chirp 3 | 22.9% | 26.4% | 20.1% | 37.4% | 19.2% | 25.2% |
| Azure AI Speech | 23.0% | 21.1% | 21.0% | 37.3% | 22.5% | 25.0% |
| OpenAI GPT-4o Transcribe | 50.6% | 52.4% | 64.3% | 44.1% | 29.1% | 48.1% |
| OpenAI GPT Realtime Whisper | 31.8% | 26.2% | 20.9% | 33.0% | 22.4% | 26.9% |
| Qwen3-ASR 0.6B | 23.8% | 29.7% | 26.2% | 38.2% | 20.9% | 27.7% |
| Qwen3-ASR 1.7B | 21.9% | 25.0% | 22.0% | 33.1% | 20.0% | 24.4% |
| SenseVoiceSmall | 28.0% | 37.4% | 99.9% | 45.9% | 28.1% | 47.9% |
| ElevenLabs Scribe v2 | 28.6% | 20.3% | 15.4% | 31.5% | 21.2% | 23.4% |
| Deepgram Nova-3 | 29.3% | 28.0% | 38.4% | 44.8% | 29.2% | 34.0% |
리더보드
| 시스템 | 매크로 WER | 지연 시간 중앙값 | 비고 |
|---|---|---|---|
| VoicePing ASR Model V0.1 | 19.3% | 1.22s | VoicePing 다국어 ASR |
| Google Cloud STT V1 default | 40.1% | 7.47s | 클라우드 음성-텍스트 변환 |
| Google Cloud STT Chirp 2 | 24.9% | 7.12s | 클라우드 음성-텍스트 변환 |
| Google Cloud STT Chirp 3 | 25.2% | 7.32s | 클라우드 음성-텍스트 변환 |
| Azure AI Speech | 25.0% | 7.12s | 클라우드 음성-텍스트 변환 |
| OpenAI GPT-4o Transcribe | 48.1% | 1.53s | OpenAI 전사 모델 |
| OpenAI GPT Realtime Whisper | 26.9% | 7.17s | OpenAI 전사 모델 |
| Qwen3-ASR 0.6B | 27.7% | 3.56s | 오픈 ASR 모델 |
| Qwen3-ASR 1.7B | 24.4% | 4.18s | 오픈 ASR 모델 |
| SenseVoiceSmall | 47.9% | 0.07s | 오픈 ASR 모델 |
| ElevenLabs Scribe v2 | 23.4% | 3.07s | 클라우드 음성-텍스트 변환 |
| Deepgram Nova-3 | 34.0% | 1.33s | 클라우드 음성-텍스트 변환 |
VoicePing ASR Model V0.1은 이번 벤치마크에서 가장 낮은 매크로 WER을 기록하면서, 동시에 1.22초라는 가장 빠른 수준의 응답 시간 중앙값을 보여주었습니다. 이번 테스트에서 이보다 더 빠르게 응답한 시스템들은 그 대가로 상당한 정확도를 포기해야 했습니다.
언어별 결과
영어
VoicePing ASR Model V0.1은 이번 비교에서 20.2%로 가장 낮은 영어 WER을 기록하며, Qwen3-ASR 1.7B와 여기서 테스트한 주요 클라우드 시스템들을 앞섰습니다.
일본어
일본어는 VoicePing에서 가장 중요한 언어 중 하나입니다. 이 데이터셋에서 VoicePing ASR Model V0.1은 20.4% WER을 기록해 ElevenLabs Scribe v2(20.3%)와 사실상 동률로 일본어 최고 성적을 거두었으며, Azure AI Speech와 오픈 ASR 베이스라인들을 앞섰습니다.
베트남어
베트남어는 이번 벤치마크에서 가장 치열한 접전이 벌어진 언어입니다. Google Cloud STT Chirp 2가 14.8% WER로 선두이고, ElevenLabs Scribe v2(15.4%)와 VoicePing ASR Model V0.1(15.5%)이 사실상 동률로 바로 그 뒤를 잇고 있습니다.
한국어
한국어는 이번 벤치마크에서 가장 뚜렷한 격차가 나타난 언어 중 하나입니다. VoicePing ASR Model V0.1은 24.5% WER을 기록하며 그다음 그룹의 시스템들을 큰 차이로 앞섰습니다.
중국어
중국어 역시 VoicePing ASR Model V0.1이 강세를 보인 영역으로, 16.0% WER을 기록했습니다. Google Cloud STT Chirp 3와 Qwen3-ASR 1.7B가 가장 근접한 추격 그룹입니다.
이번 평가에서 얻은 점
- VoicePing ASR Model V0.1은 다섯 개 언어 전체에서 **매크로 WER 19.3%**를 기록하며 이번 벤치마크에서 가장 높은 종합 정확도를 보였습니다.
- 결과가 모든 언어에서 균일한 것은 아닙니다. 이번 테스트에서 영어, 한국어, 중국어는 VoicePing의 우위가 가장 뚜렷했고, 일본어는 최고 성능의 클라우드 시스템과 사실상 동률이었으며, 베트남어는 1포인트 미만의 차이로 갈린 접전이었습니다.
- 더 큰 범용 시스템이 제품 특화 다국어 음성에서 자동으로 이기는 것은 아닙니다.
- 특히 실시간 회의와 이벤트에서는 정확도와 응답 시간 모두가 사용자 경험에 중요합니다.
앞으로의 계획
VoicePing ASR Model V0.1은 첫 릴리스이며, 이번 벤치마크는 특정 시점의 스냅숏입니다. 데이터셋은 VoicePing이 실무에서 다루는 종류의 음성으로 구성되어 있으므로, 범용 공개 벤치마크를 대신하기보다는 우리 제품에 대한 준비 상태를 측정합니다. 비교 대상인 클라우드 시스템들은 계속 발전할 것이고, 저희 모델도 마찬가지입니다. 또한 지연 시간은 배포 환경에 따라 달라지므로, 속도 수치는 절대적인 값이 아닌 참고치로 보시기 바랍니다.
앞으로의 작업은 이번 평가가 가리키는 지점들에 집중합니다. 각 언어에 남아 있는 오류 패턴을 줄이고, 더 시끄럽고 더 길고 더 도메인 특화된 오디오로 테스트 세트를 확장하며, 새로운 음성-텍스트 변환 시스템이 출시될 때마다 비교 범위를 넓혀 갈 것입니다. 자동 평가 점수가 이 작업의 방향을 안내하고, 사람이 직접 전사 결과를 검토하는 과정은 모든 릴리스 결정에서 계속 유지됩니다.
마치며
VoicePing ASR Model V0.1은 영어, 일본어, 한국어, 중국어, 베트남어를 위한 저희의 첫 통합 다국어 ASR 모델입니다. 5,000개 클립으로 구성된 이번 벤치마크에서 테스트한 시스템 중 가장 높은 종합 정확도를, 가장 빠른 수준의 응답 시간으로 달성했습니다. 그리고 이 모델은 VoicePing의 다른 모든 기능이 딛고 서는 전사 층이기도 합니다.
중요한 변화는 관점의 전환입니다. 저희는 ASR을 고립된 모델 데모가 아니라, 실제 다국어 커뮤니케이션 제품의 일부로서 평가하고 있습니다.
