अंग्रेजी, जापानी, कोरियाली, चिनियाँ र भियतनामी भाषाका लागि बहुभाषिक स्पीच-टु-टेक्स्ट मोडेल VoicePing ASR Model V0.1 प्रस्तुत गर्दै।
प्रस्तुत छ VoicePing ASR Model V0.1
आज हामी VoicePing ASR Model V0.1 प्रस्तुत गर्दैछौँ — VoicePing मा सबैभन्दा धेरै प्रयोग हुने भाषाहरू अंग्रेजी, जापानी, कोरियाली, चिनियाँ र भियतनामी का लागि हाम्रो बहुभाषिक स्पीच-टु-टेक्स्ट मोडेल।
VoicePing बहुभाषिक मौखिक सञ्चारलाई केन्द्रमा राखेर बनेको छ: बैठक, कार्यक्रम, भ्वाइस अनुवाद, ट्रान्स्क्रिप्ट, सारांश र खोज। यी कार्यप्रवाहहरूमा स्वचालित वाक् पहिचान (Automatic Speech Recognition, ASR) कुनै छुट्टै फिचर होइन। यो सम्पूर्ण उत्पादन अनुभवको पहिलो तह हो। ट्रान्स्क्रिप्ट नै अस्थिर भयो भने त्यसपछिका हरेक चरण कम उपयोगी बन्छन्।
VoicePing ASR Model V0.1 यही वास्तविकतालाई ध्यानमा राखेर डिजाइन गरिएको हो। यसले हामीले सबैभन्दा धेरै सेवा दिने पाँच मुख्य भाषामा केन्द्रित रहेर वास्तविक कुराकानीका लागि अझ सफा ट्रान्स्क्रिप्ट उत्पादन गर्ने लक्ष्य राख्छ।
बहुभाषिक कामका लागि एउटै मोडेल
सामान्य-उद्देश्यको वाक् पहिचान प्रविधिमा छिटो सुधार भएको छ, तर वास्तविक बहुभाषिक अडियोमा अझै कठिन पक्षहरू बाँकी छन्:
- जापानी, कोरियाली र चिनियाँ भाषालाई भाषा-सजग पाठ प्रशोधन चाहिन्छ।
- भियतनामी भाषा सही टोन चिह्न र शब्द सीमामा निर्भर हुन्छ।
- लामा वा हल्ला भएका क्लिपहरूमा अधुरा ट्रान्स्क्रिप्ट, खाली आउटपुट र दोहोरिएका पाठ देखा पर्न सक्छन्।
- API उस्तै देखिए पनि क्लाउड मोडेलहरूले भाषाअनुसार फरक-फरक व्यवहार गर्न सक्छन्।
- सार्वजनिक बेन्चमार्कमा राम्रो प्रदर्शन गर्ने प्रणाली बैठक, कार्यक्रम र भ्वाइस अनुवादका लागि सधैँ उत्तम विकल्प हुँदैन।
VoicePing ASR Model V0.1 यही पाँच-भाषी उत्पादन क्षेत्रलाई केन्द्रमा राखेर बनाइएको हाम्रो पहिलो एकीकृत मोडेल हो। तलको बेन्चमार्कले एउटा व्यावहारिक प्रश्न सोध्छ: हाम्रा प्रयोगकर्ताले साँच्चै वास्ता गर्ने बोलीलाई यसले कति राम्ररी ट्रान्स्क्राइब गर्छ?
यसले के गर्छ
VoicePing ASR Model V0.1 ले निम्न भाषाहरूको बोली ट्रान्स्क्राइब गर्छ:
- अंग्रेजी
- जापानी
- कोरियाली
- चिनियाँ
- भियतनामी
यसको आउटपुट नै त्यो ट्रान्स्क्रिप्ट हो जसमाथि अनुवाद, क्याप्सन, बैठक नोट र खोजयोग्य कुराकानी इतिहासजस्ता VoicePing का अन्य फिचरहरू चल्छन्।
यस लेखमा ASR र STT (Speech-to-Text) एकअर्काको सट्टामा प्रयोग गरिएका छन्। दुवैको अर्थ बोलीलाई पाठमा बदल्ने ट्रान्स्क्रिप्सन हो।
मूल्याङ्कन
डेटासेट
मूल्याङ्कनका लागि प्रत्येक भाषामा 1,000 क्लिप गरी कुल करिब 41 घण्टा अडियो भएको बहुभाषिक VoicePing स्पीच सेट प्रयोग गरिएको छ। यी क्लिपहरूले VoicePing ले व्यवहारमा सम्हाल्ने खालको बोली झल्काउँछन्: सफासँग पढेर रेकर्ड गरिएका अडियो होइन, वास्तविक कुराकानी।
| भाषा | क्लिप |
|---|---|
| अंग्रेजी | 1,000 |
| जापानी | 1,000 |
| भियतनामी | 1,000 |
| कोरियाली | 1,000 |
| चिनियाँ | 1,000 |
| जम्मा | 5,000 |
हरेक प्रणालीलाई एउटै अडियो सेटमा परीक्षण गरिएको छ।
तुलना गरिएका मोडेलहरू
हामीले VoicePing ASR Model V0.1 लाई Google Cloud STT, Azure AI Speech, OpenAI का ट्रान्स्क्रिप्सन मोडेलहरू, ElevenLabs Scribe v2, Deepgram Nova-3, Qwen3-ASR र SenseVoiceSmall लगायत व्यापक रूपमा प्रयोग हुने क्लाउड स्पीच प्रणाली र ओपन ASR मोडेलहरूसँग तुलना गरेका छौँ।
स्कोरिङ
मुख्य मापन शब्द त्रुटि दर (Word Error Rate, WER) हो: जति कम, त्यति राम्रो। WER ले मानव सन्दर्भ ट्रान्स्क्रिप्टको तुलनामा कति शब्द थपिए, हटाइए वा फेरिए भन्ने मापन गर्छ।
विलम्बता
उत्पादनस्तरको ASR का लागि शुद्धता मात्र पर्याप्त छैन। प्रत्येक प्रणालीले ट्रान्स्क्रिप्ट फर्काउन कति समय लिन्छ भन्ने पनि हामी मापन गर्छौँ, किनभने शुद्ध तर ढिलो मोडेलले प्रत्यक्ष बैठक र कार्यक्रमहरूमा अझै पनि नराम्रो अनुभव दिन सक्छ।
मुख्य नतिजाहरू
तलको चार्टले यस बेन्चमार्कमा समावेश VoicePing ASR Model V0.1 र बाह्य स्पीच-टु-टेक्स्ट प्रणालीहरूको पाँच भाषाभरिको औसत शब्द त्रुटि दर तुलना गर्छ। बार जति होचो, त्यति राम्रो। भाषाअनुसारका चार्टहरू नतिजा खण्डमा छन्।
भाषाअनुसार शुद्धता
| प्रणाली | EN WER | JA WER | VI WER | KO WER | ZH WER | म्याक्रो WER |
|---|---|---|---|---|---|---|
| VoicePing ASR Model V0.1 | 20.2% | 20.4% | 15.5% | 24.5% | 16.0% | 19.3% |
| Google Cloud STT V1 default | 23.1% | 23.5% | 52.1% | 57.8% | 44.2% | 40.1% |
| Google Cloud STT Chirp 2 | 24.5% | 29.7% | 14.8% | 32.8% | 22.6% | 24.9% |
| Google Cloud STT Chirp 3 | 22.9% | 26.4% | 20.1% | 37.4% | 19.2% | 25.2% |
| Azure AI Speech | 23.0% | 21.1% | 21.0% | 37.3% | 22.5% | 25.0% |
| OpenAI GPT-4o Transcribe | 50.6% | 52.4% | 64.3% | 44.1% | 29.1% | 48.1% |
| OpenAI GPT Realtime Whisper | 31.8% | 26.2% | 20.9% | 33.0% | 22.4% | 26.9% |
| Qwen3-ASR 0.6B | 23.8% | 29.7% | 26.2% | 38.2% | 20.9% | 27.7% |
| Qwen3-ASR 1.7B | 21.9% | 25.0% | 22.0% | 33.1% | 20.0% | 24.4% |
| SenseVoiceSmall | 28.0% | 37.4% | 99.9% | 45.9% | 28.1% | 47.9% |
| ElevenLabs Scribe v2 | 28.6% | 20.3% | 15.4% | 31.5% | 21.2% | 23.4% |
| Deepgram Nova-3 | 29.3% | 28.0% | 38.4% | 44.8% | 29.2% | 34.0% |
लिडरबोर्ड
| प्रणाली | म्याक्रो WER | मध्यक विलम्बता | टिप्पणी |
|---|---|---|---|
| VoicePing ASR Model V0.1 | 19.3% | 1.22s | VoicePing बहुभाषिक ASR |
| Google Cloud STT V1 default | 40.1% | 7.47s | क्लाउड स्पीच-टु-टेक्स्ट |
| Google Cloud STT Chirp 2 | 24.9% | 7.12s | क्लाउड स्पीच-टु-टेक्स्ट |
| Google Cloud STT Chirp 3 | 25.2% | 7.32s | क्लाउड स्पीच-टु-टेक्स्ट |
| Azure AI Speech | 25.0% | 7.12s | क्लाउड स्पीच-टु-टेक्स्ट |
| OpenAI GPT-4o Transcribe | 48.1% | 1.53s | OpenAI ट्रान्स्क्रिप्सन |
| OpenAI GPT Realtime Whisper | 26.9% | 7.17s | OpenAI ट्रान्स्क्रिप्सन |
| Qwen3-ASR 0.6B | 27.7% | 3.56s | ओपन ASR मोडेल |
| Qwen3-ASR 1.7B | 24.4% | 4.18s | ओपन ASR मोडेल |
| SenseVoiceSmall | 47.9% | 0.07s | ओपन ASR मोडेल |
| ElevenLabs Scribe v2 | 23.4% | 3.07s | क्लाउड स्पीच-टु-टेक्स्ट |
| Deepgram Nova-3 | 34.0% | 1.33s | क्लाउड स्पीच-टु-टेक्स्ट |
VoicePing ASR Model V0.1 ले यस बेन्चमार्ककै सबैभन्दा कम म्याक्रो WER लाई 1.22 सेकेन्डको सबैभन्दा छिटोमध्येको मध्यक प्रतिक्रिया समयसँग जोडेको छ। यस परीक्षणमा योभन्दा छिटो जवाफ दिने प्रणालीहरूले त्यसका लागि ठूलो मात्रामा शुद्धता गुमाएका छन्।
भाषाअनुसार नतिजा
अंग्रेजी
यस तुलनामा VoicePing ASR Model V0.1 को अंग्रेजी WER 20.2% छ — सबैभन्दा कम, Qwen3-ASR 1.7B र यहाँ परीक्षण गरिएका प्रमुख क्लाउड प्रणालीहरूभन्दा अगाडि।
जापानी
जापानी VoicePing का लागि सबैभन्दा महत्त्वपूर्ण भाषाहरूमध्ये एक हो। यस डेटासेटमा VoicePing ASR Model V0.1 ले 20.4% WER हासिल गर्छ — उत्कृष्ट जापानी नतिजाका लागि ElevenLabs Scribe v2 (20.3%) सँग लगभग बराबरी, Azure AI Speech र ओपन ASR बेसलाइनहरूभन्दा अगाडि।
भियतनामी
भियतनामी यस बेन्चमार्कको सबैभन्दा कसिलो प्रतिस्पर्धा हो: Google Cloud STT Chirp 2 14.8% WER सहित अग्रस्थानमा छ भने ElevenLabs Scribe v2 (15.4%) र VoicePing ASR Model V0.1 (15.5%) झन्डै बराबरीमा ठीक पछाडि छन्।
कोरियाली
बेन्चमार्कमा सबैभन्दा स्पष्ट अन्तरहरूमध्ये एक कोरियालीमा देखिन्छ। VoicePing ASR Model V0.1 ले 24.5% WER दर्ता गर्छ, जुन त्यसपछिको प्रणाली समूहभन्दा निकै अगाडि छ।
चिनियाँ
चिनियाँ पनि VoicePing ASR Model V0.1 को अर्को बलियो क्षेत्र हो, 16.0% WER सहित; Google Cloud STT Chirp 3 र Qwen3-ASR 1.7B सबैभन्दा नजिक पछाडि छन्।
हामीले के सिक्यौँ
- यस बेन्चमार्कमा VoicePing ASR Model V0.1 को समग्र शुद्धता सबैभन्दा बलियो छ, पाँच भाषाभरि 19.3% म्याक्रो WER सहित।
- नतिजा सबै भाषामा एकनास छैन: यस परीक्षणमा अंग्रेजी, कोरियाली र चिनियाँमा VoicePing को फाइदा सबैभन्दा स्पष्ट देखिन्छ, जापानीमा उत्कृष्ट क्लाउड प्रणालीसँग लगभग बराबरी छ, र भियतनामीमा एक प्रतिशत-बिन्दुभन्दा कम अन्तरले छिनिएको कसिलो प्रतिस्पर्धा छ।
- ठूला सामान्य-उद्देश्यका प्रणालीहरू उत्पादन-विशेष बहुभाषिक बोलीमा स्वतः विजयी हुँदैनन्।
- प्रयोगकर्ता अनुभवका लागि शुद्धता र प्रतिक्रिया समय दुवै महत्त्वपूर्ण छन्, विशेष गरी प्रत्यक्ष बैठक र कार्यक्रमहरूमा।
अब के आउँदैछ
VoicePing ASR Model V0.1 पहिलो रिलिज हो, र यो बेन्चमार्क एउटा क्षणचित्र मात्र हो। डेटासेट VoicePing ले व्यवहारमा सम्हाल्ने खालको बोलीबाट बनाइएको छ, त्यसैले यसले विश्वव्यापी सार्वजनिक बेन्चमार्कको प्रतिनिधित्व गर्दैन, बरु हाम्रो उत्पादनका लागि तयारीको मापन गर्छ — र तुलनामा समावेश क्लाउड प्रणालीहरू निरन्तर विकसित हुँदै जानेछन्, हाम्रो मोडेल पनि। विलम्बता डिप्लोयमेन्ट वातावरणमा पनि भर पर्छ, त्यसैले गतिसम्बन्धी अङ्कहरूलाई निरपेक्ष होइन, सांकेतिक रूपमा लिनुहोस्।
यहाँबाट हाम्रो काम यस मूल्याङ्कनले औँल्याएका ठाउँहरूमा केन्द्रित हुनेछ: प्रत्येक भाषामा बाँकी रहेका त्रुटि ढाँचाहरू घटाउने, परीक्षण सेटलाई अझ बढी हल्ला भएका, लामा र डोमेन-विशेष अडियोसम्म विस्तार गर्ने, र नयाँ स्पीच-टु-टेक्स्ट प्रणालीहरू आउँदै गर्दा तुलनालाई फराकिलो बनाउने। स्वचालित स्कोरहरूले त्यस कामलाई मार्गदर्शन गर्छन्, र मानिसद्वारा गरिने ट्रान्स्क्रिप्ट समीक्षा हरेक रिलिज निर्णयको अभिन्न अंग रहिरहन्छ।
निष्कर्ष
VoicePing ASR Model V0.1 अंग्रेजी, जापानी, कोरियाली, चिनियाँ र भियतनामीका लागि हाम्रो पहिलो एकीकृत बहुभाषिक ASR मोडेल हो। यस 5,000-क्लिप बेन्चमार्कमा यसले परीक्षण गरिएका प्रणालीहरूमध्ये सबैभन्दा बलियो समग्र शुद्धता दिन्छ, त्यो पनि सबैभन्दा छिटोमध्येका प्रतिक्रिया समयमा — र यही नै त्यो ट्रान्स्क्रिप्सन तह हो जसमाथि VoicePing का अन्य सबै फिचर बन्छन्।
महत्त्वपूर्ण परिवर्तन भनेको दृष्टिकोणको हो: हामी ASR लाई छुट्टै मोडेल डेमोका रूपमा होइन, वास्तविक बहुभाषिक सञ्चार उत्पादनको अंगका रूपमा मूल्याङ्कन गर्दैछौँ।
