VoicePing ASR Model V0.1 का परिचय — अंग्रेज़ी, जापानी, कोरियाई, चीनी और वियतनामी के लिए एक बहुभाषी स्पीच-टू-टेक्स्ट मॉडल।
VoicePing ASR Model V0.1 का परिचय
आज हम VoicePing ASR Model V0.1 प्रस्तुत कर रहे हैं — हमारा बहुभाषी स्पीच-टू-टेक्स्ट मॉडल, जो VoicePing में सबसे अधिक इस्तेमाल होने वाली भाषाओं के लिए बनाया गया है: अंग्रेज़ी, जापानी, कोरियाई, चीनी और वियतनामी।
VoicePing की बुनियाद ही बहुभाषी मौखिक संवाद है: मीटिंग, इवेंट, वॉइस अनुवाद, ट्रांसक्रिप्ट, सारांश और खोज। इन वर्कफ़्लो में ASR (ऑटोमैटिक स्पीच रिकग्निशन, यानी स्वचालित वाक्-पहचान) कोई अलग-थलग फ़ीचर नहीं है। यह पूरे प्रोडक्ट अनुभव की पहली परत है। अगर ट्रांसक्रिप्ट ही अस्थिर हो, तो उसके बाद का हर चरण कम उपयोगी हो जाता है।
VoicePing ASR Model V0.1 इसी वास्तविकता को ध्यान में रखकर डिज़ाइन किया गया है। यह उन पाँच मुख्य भाषाओं पर केंद्रित है जिन्हें हम सबसे अधिक सेवा देते हैं, और इसका लक्ष्य है वास्तविक बातचीत के लिए अधिक साफ़-सुथरे ट्रांसक्रिप्ट तैयार करना।
बहुभाषी काम के लिए एक ही मॉडल
सामान्य-उद्देश्य वाली वाक्-पहचान तकनीक तेज़ी से बेहतर हुई है, लेकिन वास्तविक बहुभाषी ऑडियो में अब भी कई कठिन पहलू हैं:
- जापानी, कोरियाई और चीनी के लिए भाषा-सजग टेक्स्ट प्रोसेसिंग ज़रूरी है।
- वियतनामी सटीक स्वर-चिह्नों (टोन मार्क्स) और शब्द-सीमाओं पर निर्भर करती है।
- लंबी या शोर-भरी क्लिप में अधूरे ट्रांसक्रिप्ट, खाली आउटपुट और दोहराया हुआ टेक्स्ट सामने आ सकता है।
- क्लाउड मॉडल अलग-अलग भाषाओं में अलग व्यवहार कर सकते हैं, भले ही API एक जैसा दिखे।
- जो सिस्टम किसी सार्वजनिक बेंचमार्क पर अच्छा प्रदर्शन करता है, वह मीटिंग, इवेंट और वॉइस अनुवाद के लिए हमेशा सबसे उपयुक्त नहीं होता।
VoicePing ASR Model V0.1 इसी पाँच-भाषा प्रोडक्ट परिदृश्य के इर्द-गिर्द बना हमारा पहला समेकित मॉडल है। नीचे दिया गया बेंचमार्क एक व्यावहारिक सवाल पूछता है: यह उस वाक् को कितनी अच्छी तरह ट्रांसक्राइब करता है जिसकी हमारे उपयोगकर्ताओं को वास्तव में परवाह है?
यह क्या करता है
VoicePing ASR Model V0.1 इन भाषाओं में वाक् को ट्रांसक्राइब करता है:
- अंग्रेज़ी
- जापानी
- कोरियाई
- चीनी
- वियतनामी
इसका आउटपुट वही ट्रांसक्रिप्ट है जो VoicePing के आगे के फ़ीचर्स — जैसे अनुवाद, कैप्शन, मीटिंग नोट्स और खोजने-योग्य बातचीत का इतिहास — को शक्ति देता है।
इस लेख में ASR और STT (स्पीच-टू-टेक्स्ट) एक-दूसरे के पर्याय के रूप में इस्तेमाल किए गए हैं। दोनों का अर्थ है वाक् से टेक्स्ट में ट्रांसक्रिप्शन।
मूल्यांकन
डेटासेट
मूल्यांकन के लिए एक बहुभाषी VoicePing स्पीच सेट का उपयोग किया गया है, जिसमें प्रति भाषा 1,000 क्लिप हैं — कुल मिलाकर लगभग 41 घंटे का ऑडियो। ये क्लिप उसी तरह की वाक् को दर्शाती हैं जिसे VoicePing व्यवहार में संभालता है: साफ़-सुथरी पढ़कर रिकॉर्ड की गई आवाज़ें नहीं, बल्कि वास्तविक बातचीत।
| भाषा | क्लिप |
|---|---|
| अंग्रेज़ी | 1,000 |
| जापानी | 1,000 |
| वियतनामी | 1,000 |
| कोरियाई | 1,000 |
| चीनी | 1,000 |
| कुल | 5,000 |
हर सिस्टम का परीक्षण एक ही ऑडियो सेट पर किया गया है।
तुलना में शामिल मॉडल
हम VoicePing ASR Model V0.1 की तुलना व्यापक रूप से इस्तेमाल होने वाले क्लाउड स्पीच सिस्टम और ओपन ASR मॉडलों से करते हैं, जिनमें Google Cloud STT, Azure AI Speech, OpenAI के ट्रांसक्रिप्शन मॉडल, ElevenLabs Scribe v2, Deepgram Nova-3, Qwen3-ASR और SenseVoiceSmall शामिल हैं।
स्कोरिंग
मुख्य मीट्रिक है वर्ड एरर रेट (WER), यानी शब्द त्रुटि दर: यह जितनी कम हो, उतना बेहतर। WER यह मापता है कि मानव-निर्मित संदर्भ ट्रांसक्रिप्ट की तुलना में कितने शब्द जोड़े गए, हटाए गए या बदले गए।
लेटेंसी
प्रोडक्शन ASR के लिए सटीकता ही एकमात्र आवश्यकता नहीं है। हम यह भी मापते हैं कि हर सिस्टम को ट्रांसक्रिप्ट लौटाने में कितना समय लगता है, क्योंकि जो मॉडल सटीक तो हो लेकिन धीमा हो, वह लाइव मीटिंग और इवेंट में फिर भी खराब अनुभव दे सकता है।
मुख्य परिणाम
नीचे दिया गया चार्ट इस बेंचमार्क में VoicePing ASR Model V0.1 और बाहरी स्पीच-टू-टेक्स्ट सिस्टमों के लिए पाँचों भाषाओं की औसत शब्द त्रुटि दर की तुलना करता है। जितनी छोटी बार, उतना बेहतर। भाषा-वार चार्ट परिणाम अनुभाग में दिए गए हैं।
भाषा के अनुसार सटीकता
| सिस्टम | EN WER | JA WER | VI WER | KO WER | ZH WER | Macro WER |
|---|---|---|---|---|---|---|
| VoicePing ASR Model V0.1 | 20.2% | 20.4% | 15.5% | 24.5% | 16.0% | 19.3% |
| Google Cloud STT V1 default | 23.1% | 23.5% | 52.1% | 57.8% | 44.2% | 40.1% |
| Google Cloud STT Chirp 2 | 24.5% | 29.7% | 14.8% | 32.8% | 22.6% | 24.9% |
| Google Cloud STT Chirp 3 | 22.9% | 26.4% | 20.1% | 37.4% | 19.2% | 25.2% |
| Azure AI Speech | 23.0% | 21.1% | 21.0% | 37.3% | 22.5% | 25.0% |
| OpenAI GPT-4o Transcribe | 50.6% | 52.4% | 64.3% | 44.1% | 29.1% | 48.1% |
| OpenAI GPT Realtime Whisper | 31.8% | 26.2% | 20.9% | 33.0% | 22.4% | 26.9% |
| Qwen3-ASR 0.6B | 23.8% | 29.7% | 26.2% | 38.2% | 20.9% | 27.7% |
| Qwen3-ASR 1.7B | 21.9% | 25.0% | 22.0% | 33.1% | 20.0% | 24.4% |
| SenseVoiceSmall | 28.0% | 37.4% | 99.9% | 45.9% | 28.1% | 47.9% |
| ElevenLabs Scribe v2 | 28.6% | 20.3% | 15.4% | 31.5% | 21.2% | 23.4% |
| Deepgram Nova-3 | 29.3% | 28.0% | 38.4% | 44.8% | 29.2% | 34.0% |
लीडरबोर्ड
| सिस्टम | Macro WER | माध्यिका लेटेंसी | टिप्पणी |
|---|---|---|---|
| VoicePing ASR Model V0.1 | 19.3% | 1.22s | VoicePing बहुभाषी ASR |
| Google Cloud STT V1 default | 40.1% | 7.47s | क्लाउड स्पीच-टू-टेक्स्ट |
| Google Cloud STT Chirp 2 | 24.9% | 7.12s | क्लाउड स्पीच-टू-टेक्स्ट |
| Google Cloud STT Chirp 3 | 25.2% | 7.32s | क्लाउड स्पीच-टू-टेक्स्ट |
| Azure AI Speech | 25.0% | 7.12s | क्लाउड स्पीच-टू-टेक्स्ट |
| OpenAI GPT-4o Transcribe | 48.1% | 1.53s | OpenAI ट्रांसक्रिप्शन |
| OpenAI GPT Realtime Whisper | 26.9% | 7.17s | OpenAI ट्रांसक्रिप्शन |
| Qwen3-ASR 0.6B | 27.7% | 3.56s | ओपन ASR मॉडल |
| Qwen3-ASR 1.7B | 24.4% | 4.18s | ओपन ASR मॉडल |
| SenseVoiceSmall | 47.9% | 0.07s | ओपन ASR मॉडल |
| ElevenLabs Scribe v2 | 23.4% | 3.07s | क्लाउड स्पीच-टू-टेक्स्ट |
| Deepgram Nova-3 | 34.0% | 1.33s | क्लाउड स्पीच-टू-टेक्स्ट |
VoicePing ASR Model V0.1 इस बेंचमार्क में सबसे कम मैक्रो WER के साथ-साथ सबसे तेज़ माध्यिका प्रतिक्रिया समयों में से एक — 1.22 सेकंड — का संयोजन प्रस्तुत करता है। इस दौड़ में जो सिस्टम इससे तेज़ जवाब देते हैं, वे ऐसा करने के लिए सटीकता का बड़ा हिस्सा गँवा देते हैं।
भाषा के अनुसार परिणाम
अंग्रेज़ी
इस तुलना में VoicePing ASR Model V0.1 का अंग्रेज़ी WER सबसे कम — 20.2% — है, जो Qwen3-ASR 1.7B और यहाँ परीक्षण किए गए प्रमुख क्लाउड सिस्टमों से आगे है।
जापानी
जापानी VoicePing के लिए सबसे महत्वपूर्ण भाषाओं में से एक है। इस डेटासेट पर VoicePing ASR Model V0.1 20.4% WER तक पहुँचता है — सर्वश्रेष्ठ जापानी परिणाम के लिए ElevenLabs Scribe v2 (20.3%) के साथ लगभग बराबरी पर, और Azure AI Speech तथा ओपन ASR बेसलाइनों से आगे।
वियतनामी
इस बेंचमार्क में वियतनामी सबसे कड़ा मुक़ाबला है: Google Cloud STT Chirp 2 14.8% WER के साथ आगे है, जबकि ElevenLabs Scribe v2 (15.4%) और VoicePing ASR Model V0.1 (15.5%) ठीक पीछे लगभग बराबरी पर हैं।
कोरियाई
कोरियाई इस बेंचमार्क के सबसे स्पष्ट अंतरों में से एक दिखाती है। VoicePing ASR Model V0.1 24.5% WER दर्ज करता है, जो सिस्टमों के अगले समूह से काफ़ी आगे है।
चीनी
चीनी VoicePing ASR Model V0.1 का एक और मज़बूत क्षेत्र है — 16.0% WER के साथ, जिसके सबसे क़रीब Google Cloud STT Chirp 3 और Qwen3-ASR 1.7B हैं।
हमने क्या सीखा
- VoicePing ASR Model V0.1 इस बेंचमार्क में समग्र रूप से सबसे मज़बूत सटीकता रखता है — पाँचों भाषाओं में 19.3% मैक्रो WER के साथ।
- परिणाम हर भाषा में एक जैसे नहीं हैं: इस दौड़ में अंग्रेज़ी, कोरियाई और चीनी में VoicePing की बढ़त सबसे स्पष्ट है, जापानी में सर्वश्रेष्ठ क्लाउड सिस्टम के साथ लगभग बराबरी है, और वियतनामी में मुक़ाबला इतना क़रीबी है कि फ़ैसला एक अंक से भी कम के अंतर से हुआ।
- बड़े सामान्य-उद्देश्य वाले सिस्टम प्रोडक्ट-विशिष्ट बहुभाषी वाक् पर अपने-आप नहीं जीत जाते।
- उपयोगकर्ता अनुभव के लिए सटीकता और प्रतिक्रिया समय — दोनों मायने रखते हैं, ख़ासकर लाइव मीटिंग और इवेंट में।
आगे क्या
VoicePing ASR Model V0.1 पहला रिलीज़ है, और यह बेंचमार्क एक स्नैपशॉट है। डेटासेट उसी तरह की वाक् से बना है जिसे VoicePing व्यवहार में संभालता है, इसलिए यह हमारे प्रोडक्ट के लिए तैयारी को मापता है, न कि किसी सार्वभौमिक सार्वजनिक बेंचमार्क का स्थान लेता है — और तुलना में शामिल क्लाउड सिस्टम आगे भी विकसित होते रहेंगे, जैसे हमारा मॉडल भी। लेटेंसी परिनियोजन (डिप्लॉयमेंट) के परिवेश पर भी निर्भर करती है, इसलिए गति के आँकड़ों को निरपेक्ष नहीं बल्कि सांकेतिक मानें।
यहाँ से हमारा काम उन्हीं दिशाओं पर केंद्रित है जिनकी ओर यह मूल्यांकन इशारा करता है: हर भाषा में बची हुई त्रुटि-प्रवृत्तियों को कम करना, टेस्ट सेट को अधिक शोर-भरे, लंबे और अधिक डोमेन-विशिष्ट ऑडियो के साथ विस्तारित करना, और जैसे-जैसे नए स्पीच-टू-टेक्स्ट सिस्टम आते हैं, तुलना का दायरा बढ़ाना। स्वचालित स्कोर इस काम को दिशा देते हैं, और मानव द्वारा ट्रांसक्रिप्ट की समीक्षा हर रिलीज़ के निर्णय का हिस्सा बनी रहती है।
निष्कर्ष
VoicePing ASR Model V0.1 अंग्रेज़ी, जापानी, कोरियाई, चीनी और वियतनामी के लिए हमारा पहला समेकित बहुभाषी ASR मॉडल है। 5,000 क्लिप के इस बेंचमार्क में यह परीक्षण किए गए सिस्टमों में समग्र रूप से सबसे मज़बूत सटीकता देता है, वह भी सबसे तेज़ प्रतिक्रिया समयों में से एक के साथ — और यही वह ट्रांसक्रिप्शन परत है जिस पर VoicePing का हर दूसरा फ़ीचर टिका है।
असली बदलाव दृष्टिकोण का है: हम ASR का मूल्यांकन एक वास्तविक बहुभाषी संचार प्रोडक्ट के हिस्से के रूप में कर रहे हैं, न कि किसी अलग-थलग मॉडल डेमो के रूप में।
