Memperkenalkan VoicePing ASR Model V0.1, model speech-to-text multibahasa untuk bahasa Inggris, Jepang, Korea, Mandarin, dan Vietnam.
Memperkenalkan VoicePing ASR Model V0.1
Hari ini kami memperkenalkan VoicePing ASR Model V0.1, model speech-to-text multibahasa kami untuk bahasa-bahasa yang paling sering muncul di VoicePing: Inggris, Jepang, Korea, Mandarin, dan Vietnam.
VoicePing dibangun di sekitar komunikasi lisan multibahasa: rapat, acara, penerjemahan suara, transkrip, ringkasan, dan pencarian. Dalam alur kerja tersebut, ASR (Automatic Speech Recognition, pengenalan ucapan otomatis) bukanlah fitur yang berdiri sendiri. ASR adalah lapisan pertama dari seluruh pengalaman produk. Jika transkripnya tidak stabil, setiap langkah berikutnya menjadi kurang berguna.
VoicePing ASR Model V0.1 dirancang untuk realitas tersebut. Model ini berfokus pada lima bahasa inti yang paling banyak kami layani, dengan tujuan menghasilkan transkrip yang lebih bersih untuk percakapan nyata.
Satu Model untuk Pekerjaan Multibahasa
Pengenalan ucapan serba guna telah berkembang pesat, tetapi audio multibahasa di dunia nyata masih memiliki sisi-sisi yang sulit:
- Bahasa Jepang, Korea, dan Mandarin membutuhkan penanganan teks yang peka terhadap bahasa.
- Bahasa Vietnam bergantung pada tanda nada dan batas kata yang akurat.
- Klip yang panjang atau berisik dapat memunculkan transkrip yang tidak lengkap, keluaran kosong, dan teks yang berulang.
- Model cloud dapat berperilaku berbeda antarbahasa, meskipun API-nya tampak seragam.
- Sistem yang berkinerja baik pada benchmark publik belum tentu paling cocok untuk rapat, acara, dan penerjemahan suara.
VoicePing ASR Model V0.1 adalah model terkonsolidasi pertama kami yang dibangun di sekitar lima bahasa yang menjadi fokus produk ini. Benchmark di bawah ini menjawab pertanyaan yang praktis: seberapa baik model ini mentranskripsikan ucapan yang benar-benar penting bagi pengguna kami?
Apa yang Dilakukannya
VoicePing ASR Model V0.1 mentranskripsikan ucapan dalam bahasa:
- Inggris
- Jepang
- Korea
- Mandarin
- Vietnam
Keluarannya adalah transkrip yang menjadi dasar fitur-fitur VoicePing selanjutnya seperti penerjemahan, takarir, notula rapat, dan riwayat percakapan yang dapat dicari.
Artikel ini menggunakan istilah ASR dan STT (Speech-to-Text) secara bergantian. Keduanya berarti transkripsi ucapan menjadi teks.
Evaluasi
Dataset
Evaluasi ini menggunakan set ucapan multibahasa VoicePing dengan 1.000 klip per bahasa, dengan total sekitar 41 jam audio. Klip-klip tersebut mencerminkan jenis ucapan yang ditangani VoicePing dalam praktik: percakapan nyata, bukan rekaman bacaan yang bersih.
| Bahasa | Klip |
|---|---|
| Inggris | 1,000 |
| Jepang | 1,000 |
| Vietnam | 1,000 |
| Korea | 1,000 |
| Mandarin | 1,000 |
| Total | 5,000 |
Setiap sistem diuji pada set audio yang sama.
Model yang Dibandingkan
Kami membandingkan VoicePing ASR Model V0.1 dengan sistem speech cloud yang banyak digunakan dan model ASR terbuka, termasuk Google Cloud STT, Azure AI Speech, model transkripsi OpenAI, ElevenLabs Scribe v2, Deepgram Nova-3, Qwen3-ASR, dan SenseVoiceSmall.
Penilaian
Metrik utamanya adalah word error rate (WER), yaitu tingkat kesalahan kata: semakin rendah semakin baik. WER mengukur berapa banyak kata yang disisipkan, dihapus, atau diganti dibandingkan dengan transkrip referensi buatan manusia.
Latensi
Akurasi bukanlah satu-satunya syarat untuk ASR di lingkungan produksi. Kami juga mengukur berapa lama setiap sistem membutuhkan waktu untuk mengembalikan transkrip, karena model yang akurat tetapi lambat tetap bisa terasa buruk dalam rapat dan acara langsung.
Hasil Utama
Bagan di bawah ini membandingkan rata-rata word error rate di kelima bahasa untuk VoicePing ASR Model V0.1 dan sistem speech-to-text eksternal dalam benchmark ini. Batang yang lebih rendah berarti lebih baik. Bagan per bahasa menyusul di bagian hasil.
Akurasi per Bahasa
| Sistem | WER EN | WER JA | WER VI | WER KO | WER ZH | WER Makro |
|---|---|---|---|---|---|---|
| VoicePing ASR Model V0.1 | 20.2% | 20.4% | 15.5% | 24.5% | 16.0% | 19.3% |
| Google Cloud STT V1 default | 23.1% | 23.5% | 52.1% | 57.8% | 44.2% | 40.1% |
| Google Cloud STT Chirp 2 | 24.5% | 29.7% | 14.8% | 32.8% | 22.6% | 24.9% |
| Google Cloud STT Chirp 3 | 22.9% | 26.4% | 20.1% | 37.4% | 19.2% | 25.2% |
| Azure AI Speech | 23.0% | 21.1% | 21.0% | 37.3% | 22.5% | 25.0% |
| OpenAI GPT-4o Transcribe | 50.6% | 52.4% | 64.3% | 44.1% | 29.1% | 48.1% |
| OpenAI GPT Realtime Whisper | 31.8% | 26.2% | 20.9% | 33.0% | 22.4% | 26.9% |
| Qwen3-ASR 0.6B | 23.8% | 29.7% | 26.2% | 38.2% | 20.9% | 27.7% |
| Qwen3-ASR 1.7B | 21.9% | 25.0% | 22.0% | 33.1% | 20.0% | 24.4% |
| SenseVoiceSmall | 28.0% | 37.4% | 99.9% | 45.9% | 28.1% | 47.9% |
| ElevenLabs Scribe v2 | 28.6% | 20.3% | 15.4% | 31.5% | 21.2% | 23.4% |
| Deepgram Nova-3 | 29.3% | 28.0% | 38.4% | 44.8% | 29.2% | 34.0% |
Papan Peringkat
| Sistem | WER Makro | Latensi median | Catatan |
|---|---|---|---|
| VoicePing ASR Model V0.1 | 19.3% | 1.22s | ASR multibahasa VoicePing |
| Google Cloud STT V1 default | 40.1% | 7.47s | Speech-to-text cloud |
| Google Cloud STT Chirp 2 | 24.9% | 7.12s | Speech-to-text cloud |
| Google Cloud STT Chirp 3 | 25.2% | 7.32s | Speech-to-text cloud |
| Azure AI Speech | 25.0% | 7.12s | Speech-to-text cloud |
| OpenAI GPT-4o Transcribe | 48.1% | 1.53s | Transkripsi OpenAI |
| OpenAI GPT Realtime Whisper | 26.9% | 7.17s | Transkripsi OpenAI |
| Qwen3-ASR 0.6B | 27.7% | 3.56s | Model ASR terbuka |
| Qwen3-ASR 1.7B | 24.4% | 4.18s | Model ASR terbuka |
| SenseVoiceSmall | 47.9% | 0.07s | Model ASR terbuka |
| ElevenLabs Scribe v2 | 23.4% | 3.07s | Speech-to-text cloud |
| Deepgram Nova-3 | 34.0% | 1.33s | Speech-to-text cloud |
VoicePing ASR Model V0.1 menggabungkan WER makro terendah dalam benchmark ini dengan salah satu waktu respons median tercepat, yaitu 1,22 detik. Sistem-sistem yang merespons lebih cepat dalam pengujian ini harus mengorbankan akurasi dalam jumlah besar untuk mencapainya.
Hasil per Bahasa
Bahasa Inggris
VoicePing ASR Model V0.1 memiliki WER bahasa Inggris terendah dalam perbandingan ini, yaitu 20.2%, mengungguli Qwen3-ASR 1.7B dan sistem-sistem cloud besar yang diuji di sini.
Bahasa Jepang
Bahasa Jepang adalah salah satu bahasa terpenting bagi VoicePing. Pada dataset ini, VoicePing ASR Model V0.1 mencapai WER 20.4%, nyaris seri dengan ElevenLabs Scribe v2 (20.3%) sebagai hasil terbaik untuk bahasa Jepang, mengungguli Azure AI Speech dan model-model ASR terbuka pembanding.
Bahasa Vietnam
Bahasa Vietnam adalah persaingan paling ketat dalam benchmark ini: Google Cloud STT Chirp 2 memimpin dengan WER 14.8%, disusul sangat tipis oleh ElevenLabs Scribe v2 (15.4%) dan VoicePing ASR Model V0.1 (15.5%) yang praktis seri.
Bahasa Korea
Bahasa Korea memperlihatkan salah satu selisih paling jelas dalam benchmark ini. VoicePing ASR Model V0.1 mencatat WER 24.5%, jauh di depan kelompok sistem berikutnya.
Bahasa Mandarin
Bahasa Mandarin adalah area kuat lainnya bagi VoicePing ASR Model V0.1, dengan WER 16.0%, disusul paling dekat oleh Google Cloud STT Chirp 3 dan Qwen3-ASR 1.7B.
Apa yang Kami Pelajari
- VoicePing ASR Model V0.1 memiliki akurasi keseluruhan terkuat dalam benchmark ini, dengan WER makro 19.3% di kelima bahasa.
- Hasilnya tidak seragam antarbahasa: bahasa Inggris, Korea, dan Mandarin memperlihatkan keunggulan VoicePing yang paling jelas dalam pengujian ini, bahasa Jepang nyaris seri dengan sistem cloud terbaik, dan bahasa Vietnam adalah persaingan ketat yang ditentukan oleh selisih kurang dari satu poin.
- Sistem serba guna yang lebih besar tidak otomatis menang pada ucapan multibahasa yang spesifik untuk produk.
- Akurasi dan waktu respons sama-sama penting bagi pengalaman pengguna, terutama dalam rapat dan acara langsung.
Apa Selanjutnya
VoicePing ASR Model V0.1 adalah rilis pertama, dan benchmark ini hanyalah potret sesaat. Dataset-nya dibangun dari jenis ucapan yang ditangani VoicePing dalam praktik, sehingga mengukur kesiapan untuk produk kami, bukan menjadi pengganti benchmark publik universal — dan sistem-sistem cloud dalam perbandingan ini akan terus berkembang, begitu pula model kami. Latensi juga bergantung pada lingkungan deployment, jadi anggaplah angka kecepatan di sini sebagai indikasi, bukan angka mutlak.
Dari sini, pekerjaan kami berfokus pada hal-hal yang ditunjukkan oleh evaluasi ini: mengurangi pola kesalahan yang masih tersisa di setiap bahasa, memperluas set pengujian dengan audio yang lebih berisik, lebih panjang, dan lebih spesifik per domain, serta memperluas perbandingan seiring hadirnya sistem speech-to-text baru. Skor otomatis memandu pekerjaan itu, dan tinjauan transkrip oleh manusia tetap menjadi bagian dari setiap keputusan rilis.
Kesimpulan
VoicePing ASR Model V0.1 adalah model ASR multibahasa terkonsolidasi pertama kami untuk bahasa Inggris, Jepang, Korea, Mandarin, dan Vietnam. Dalam benchmark 5.000 klip ini, model ini menghadirkan akurasi keseluruhan terkuat di antara sistem-sistem yang diuji, dengan waktu respons yang termasuk paling cepat — dan model ini adalah lapisan transkripsi yang menjadi fondasi setiap fitur VoicePing lainnya.
Pergeseran yang penting adalah soal fokus: kami mengevaluasi ASR sebagai bagian dari produk komunikasi multibahasa yang nyata, bukan sebagai demo model yang berdiri sendiri.
