Memperkenalkan VoicePing ASR Model V0.1, model pertuturan-ke-teks berbilang bahasa untuk bahasa Inggeris, Jepun, Korea, Cina, dan Vietnam.
Memperkenalkan VoicePing ASR Model V0.1
Hari ini kami memperkenalkan VoicePing ASR Model V0.1, model pertuturan-ke-teks berbilang bahasa kami untuk bahasa-bahasa yang paling kerap digunakan dalam VoicePing: bahasa Inggeris, Jepun, Korea, Cina, dan Vietnam.
VoicePing dibina berteraskan komunikasi lisan berbilang bahasa: mesyuarat, acara, terjemahan suara, transkrip, ringkasan, dan carian. Dalam aliran kerja tersebut, ASR bukanlah ciri yang terasing. Ia merupakan lapisan pertama bagi keseluruhan pengalaman produk. Jika transkrip tidak stabil, setiap langkah seterusnya menjadi kurang berguna.
VoicePing ASR Model V0.1 direka untuk realiti tersebut. Ia memberi tumpuan kepada lima bahasa teras yang paling banyak kami layani, dengan matlamat menghasilkan transkrip yang lebih bersih untuk perbualan sebenar.
Satu Model Untuk Kerja Berbilang Bahasa
Pengecaman pertuturan tujuan umum telah bertambah baik dengan pantas, tetapi audio berbilang bahasa yang sebenar masih mempunyai cabaran yang sukar:
- Bahasa Jepun, Korea, dan Cina memerlukan pengendalian teks yang peka bahasa.
- Bahasa Vietnam bergantung pada tanda nada dan sempadan perkataan yang tepat.
- Klip yang panjang atau bising boleh mendedahkan transkrip separa, output kosong, dan teks berulang.
- Model awan boleh berkelakuan berbeza merentas bahasa, walaupun API kelihatan seragam.
- Sistem yang berprestasi baik pada penanda aras awam tidak semestinya paling sesuai untuk mesyuarat, acara, dan terjemahan suara.
VoicePing ASR Model V0.1 ialah model bersepadu pertama kami yang dibina berdasarkan lima bahasa teras produk ini. Penanda aras di bawah mengemukakan soalan praktikal: sejauh manakah baiknya ia mentranskripsikan pertuturan yang benar-benar penting kepada pengguna kami?
Apa Yang Dilakukannya
VoicePing ASR Model V0.1 mentranskripsikan pertuturan dalam:
- Bahasa Inggeris
- Bahasa Jepun
- Bahasa Korea
- Bahasa Cina
- Bahasa Vietnam
Outputnya ialah transkrip yang menjadi asas kepada ciri-ciri VoicePing seterusnya seperti terjemahan, sari kata, nota mesyuarat, dan sejarah perbualan yang boleh dicari.
Artikel ini menggunakan ASR (pengecaman pertuturan automatik, atau automatic speech recognition) dan STT (pertuturan-ke-teks, atau speech-to-text) secara bertukar ganti. Kedua-duanya bermaksud transkripsi pertuturan kepada teks.
Penilaian
Set Data
Penilaian ini menggunakan set pertuturan VoicePing berbilang bahasa dengan 1,000 klip bagi setiap bahasa, iaitu kira-kira 41 jam audio secara keseluruhan. Klip-klip ini mencerminkan jenis pertuturan yang dikendalikan VoicePing dalam amalan sebenar: perbualan sebenar dan bukannya rakaman bacaan yang bersih.
| Bahasa | Klip |
|---|---|
| Inggeris | 1,000 |
| Jepun | 1,000 |
| Vietnam | 1,000 |
| Korea | 1,000 |
| Cina | 1,000 |
| Jumlah | 5,000 |
Setiap sistem diuji pada set audio yang sama.
Model Yang Dibandingkan
Kami membandingkan VoicePing ASR Model V0.1 dengan sistem pertuturan awan yang digunakan secara meluas serta model ASR terbuka, termasuk Google Cloud STT, Azure AI Speech, model transkripsi OpenAI, ElevenLabs Scribe v2, Deepgram Nova-3, Qwen3-ASR, dan SenseVoiceSmall.
Pemarkahan
Metrik utama ialah kadar ralat perkataan (WER, word error rate): lebih rendah lebih baik. WER mengukur berapa banyak perkataan yang disisipkan, digugurkan, atau digantikan berbanding transkrip rujukan manusia.
Kependaman
Ketepatan bukanlah satu-satunya keperluan untuk ASR peringkat produksi. Kami turut mengukur berapa lama masa yang diambil oleh setiap sistem untuk mengembalikan transkrip, kerana model yang tepat tetapi perlahan masih boleh terasa kurang memuaskan dalam mesyuarat dan acara secara langsung.
Keputusan Utama
Carta di bawah membandingkan purata kadar ralat perkataan merentas lima bahasa bagi VoicePing ASR Model V0.1 dan sistem pertuturan-ke-teks luaran dalam penanda aras ini. Bar yang lebih rendah adalah lebih baik. Carta mengikut bahasa menyusul dalam bahagian keputusan.
Ketepatan Mengikut Bahasa
| Sistem | WER EN | WER JA | WER VI | WER KO | WER ZH | WER Makro |
|---|---|---|---|---|---|---|
| VoicePing ASR Model V0.1 | 20.2% | 20.4% | 15.5% | 24.5% | 16.0% | 19.3% |
| Google Cloud STT V1 default | 23.1% | 23.5% | 52.1% | 57.8% | 44.2% | 40.1% |
| Google Cloud STT Chirp 2 | 24.5% | 29.7% | 14.8% | 32.8% | 22.6% | 24.9% |
| Google Cloud STT Chirp 3 | 22.9% | 26.4% | 20.1% | 37.4% | 19.2% | 25.2% |
| Azure AI Speech | 23.0% | 21.1% | 21.0% | 37.3% | 22.5% | 25.0% |
| OpenAI GPT-4o Transcribe | 50.6% | 52.4% | 64.3% | 44.1% | 29.1% | 48.1% |
| OpenAI GPT Realtime Whisper | 31.8% | 26.2% | 20.9% | 33.0% | 22.4% | 26.9% |
| Qwen3-ASR 0.6B | 23.8% | 29.7% | 26.2% | 38.2% | 20.9% | 27.7% |
| Qwen3-ASR 1.7B | 21.9% | 25.0% | 22.0% | 33.1% | 20.0% | 24.4% |
| SenseVoiceSmall | 28.0% | 37.4% | 99.9% | 45.9% | 28.1% | 47.9% |
| ElevenLabs Scribe v2 | 28.6% | 20.3% | 15.4% | 31.5% | 21.2% | 23.4% |
| Deepgram Nova-3 | 29.3% | 28.0% | 38.4% | 44.8% | 29.2% | 34.0% |
Papan Pendahulu
| Sistem | WER Makro | Kependaman median | Nota |
|---|---|---|---|
| VoicePing ASR Model V0.1 | 19.3% | 1.22s | ASR berbilang bahasa VoicePing |
| Google Cloud STT V1 default | 40.1% | 7.47s | Pertuturan-ke-teks awan |
| Google Cloud STT Chirp 2 | 24.9% | 7.12s | Pertuturan-ke-teks awan |
| Google Cloud STT Chirp 3 | 25.2% | 7.32s | Pertuturan-ke-teks awan |
| Azure AI Speech | 25.0% | 7.12s | Pertuturan-ke-teks awan |
| OpenAI GPT-4o Transcribe | 48.1% | 1.53s | Transkripsi OpenAI |
| OpenAI GPT Realtime Whisper | 26.9% | 7.17s | Transkripsi OpenAI |
| Qwen3-ASR 0.6B | 27.7% | 3.56s | Model ASR terbuka |
| Qwen3-ASR 1.7B | 24.4% | 4.18s | Model ASR terbuka |
| SenseVoiceSmall | 47.9% | 0.07s | Model ASR terbuka |
| ElevenLabs Scribe v2 | 23.4% | 3.07s | Pertuturan-ke-teks awan |
| Deepgram Nova-3 | 34.0% | 1.33s | Pertuturan-ke-teks awan |
VoicePing ASR Model V0.1 menggabungkan WER makro terendah dalam penanda aras ini dengan salah satu masa respons median terpantas, iaitu 1.22 saat. Sistem yang memberikan respons lebih pantas dalam ujian ini terpaksa mengorbankan ketepatan yang besar untuk berbuat demikian.
Keputusan Mengikut Bahasa
Bahasa Inggeris
VoicePing ASR Model V0.1 mencatatkan WER bahasa Inggeris terendah dalam perbandingan ini pada 20.2%, mendahului Qwen3-ASR 1.7B dan sistem awan utama yang diuji di sini.
Bahasa Jepun
Bahasa Jepun merupakan salah satu bahasa terpenting bagi VoicePing. Pada set data ini, VoicePing ASR Model V0.1 mencapai WER 20.4%, hampir seri dengan ElevenLabs Scribe v2 (20.3%) bagi keputusan bahasa Jepun terbaik, mendahului Azure AI Speech dan model asas ASR terbuka.
Bahasa Vietnam
Bahasa Vietnam ialah persaingan paling sengit dalam penanda aras ini: Google Cloud STT Chirp 2 mendahului pada WER 14.8%, dengan ElevenLabs Scribe v2 (15.4%) dan VoicePing ASR Model V0.1 (15.5%) pada dasarnya seri di belakangnya.
Bahasa Korea
Bahasa Korea menunjukkan salah satu jurang paling ketara dalam penanda aras ini. VoicePing ASR Model V0.1 mencatatkan WER 24.5%, jauh mendahului kumpulan sistem yang berikutnya.
Bahasa Cina
Bahasa Cina juga merupakan bidang kekuatan VoicePing ASR Model V0.1, pada WER 16.0%, dengan Google Cloud STT Chirp 3 dan Qwen3-ASR 1.7B paling hampir di belakangnya.
Apa Yang Kami Pelajari
- VoicePing ASR Model V0.1 mempunyai ketepatan keseluruhan terkuat dalam penanda aras ini, dengan WER makro 19.3% merentas lima bahasa.
- Keputusannya tidak seragam mengikut bahasa: bahasa Inggeris, Korea, dan Cina menunjukkan kelebihan VoicePing yang paling jelas dalam ujian ini, bahasa Jepun hampir seri dengan sistem awan terbaik, dan bahasa Vietnam adalah persaingan rapat yang ditentukan oleh kurang daripada satu mata.
- Sistem tujuan umum yang lebih besar tidak semestinya menang pada pertuturan berbilang bahasa yang khusus untuk produk.
- Ketepatan dan masa respons kedua-duanya penting bagi pengalaman pengguna, terutamanya dalam mesyuarat dan acara secara langsung.
Langkah Seterusnya
VoicePing ASR Model V0.1 ialah keluaran pertama, dan penanda aras ini hanyalah satu petikan pada masa tertentu. Set data ini dibina daripada jenis pertuturan yang dikendalikan VoicePing dalam amalan sebenar, jadi ia mengukur kesediaan untuk produk kami dan bukannya mewakili penanda aras awam yang universal — dan sistem awan dalam perbandingan ini akan terus berkembang, begitu juga model kami. Kependaman juga bergantung pada persekitaran pelaksanaan, jadi anggaplah angka kelajuan sebagai penunjuk dan bukannya mutlak.
Dari sini, kerja kami memberi tumpuan kepada perkara-perkara yang ditunjukkan oleh penilaian ini: mengurangkan corak ralat yang masih ada dalam setiap bahasa, memperluaskan set ujian dengan audio yang lebih bising, lebih panjang, dan lebih khusus mengikut domain, serta meluaskan perbandingan apabila sistem pertuturan-ke-teks baharu dilancarkan. Skor automatik memandu kerja tersebut, dan semakan transkrip oleh manusia kekal sebagai sebahagian daripada setiap keputusan keluaran.
Kesimpulan
VoicePing ASR Model V0.1 ialah model ASR berbilang bahasa bersepadu pertama kami untuk bahasa Inggeris, Jepun, Korea, Cina, dan Vietnam. Dalam penanda aras 5,000 klip ini, ia menyampaikan ketepatan keseluruhan terkuat dalam kalangan sistem yang diuji, pada antara masa respons terpantas — dan ia merupakan lapisan transkripsi yang menjadi asas kepada setiap ciri VoicePing yang lain.
Anjakan yang penting ialah tumpuan: kami menilai ASR sebagai sebahagian daripada produk komunikasi berbilang bahasa yang sebenar, bukan sebagai demo model yang terasing.
