ขอแนะนำ VoicePing ASR Model V0.1 โมเดลแปลงเสียงพูดเป็นข้อความหลายภาษา รองรับภาษาอังกฤษ ญี่ปุ่น เกาหลี จีน และเวียดนาม
ขอแนะนำ VoicePing ASR Model V0.1
วันนี้เราขอแนะนำ VoicePing ASR Model V0.1 โมเดลแปลงเสียงพูดเป็นข้อความหลายภาษาของเรา สำหรับกลุ่มภาษาที่ปรากฏบ่อยที่สุดใน VoicePing ได้แก่ ภาษาอังกฤษ ญี่ปุ่น เกาหลี จีน และเวียดนาม
VoicePing ถูกสร้างขึ้นบนพื้นฐานของการสื่อสารด้วยเสียงแบบหลายภาษา ไม่ว่าจะเป็นการประชุม งานอีเวนต์ การแปลเสียง บทถอดความ สรุปการประชุม และการค้นหา ในเวิร์กโฟลว์เหล่านี้ ASR (Automatic Speech Recognition หรือระบบรู้จำเสียงพูดอัตโนมัติ) ไม่ใช่ฟีเจอร์ที่แยกอยู่โดดเดี่ยว แต่เป็นชั้นแรกสุดของประสบการณ์ผลิตภัณฑ์ทั้งหมด หากบทถอดความไม่เสถียร ทุกขั้นตอนที่ตามมาย่อมมีประโยชน์น้อยลง
VoicePing ASR Model V0.1 ถูกออกแบบมาเพื่อโจทย์นี้โดยเฉพาะ โดยมุ่งเน้นที่ห้าภาษาหลักที่เราให้บริการมากที่สุด ด้วยเป้าหมายในการสร้างบทถอดความที่สะอาดแม่นยำยิ่งขึ้นสำหรับบทสนทนาจริง
โมเดลเดียวสำหรับงานหลายภาษา
ระบบรู้จำเสียงพูดแบบใช้งานทั่วไปพัฒนาไปอย่างรวดเร็ว แต่เสียงพูดหลายภาษาในโลกจริงยังคงมีจุดที่ยากอยู่:
- ภาษาญี่ปุ่น เกาหลี และจีน ต้องการการจัดการข้อความที่เข้าใจลักษณะเฉพาะของแต่ละภาษา
- ภาษาเวียดนามขึ้นอยู่กับความถูกต้องของเครื่องหมายวรรณยุกต์และขอบเขตของคำ
- คลิปเสียงที่ยาวหรือมีเสียงรบกวนอาจทำให้เกิดบทถอดความที่ไม่สมบูรณ์ ผลลัพธ์ว่างเปล่า และข้อความซ้ำ
- โมเดลบนคลาวด์อาจทำงานแตกต่างกันในแต่ละภาษา แม้ว่า API จะดูเหมือนกันก็ตาม
- ระบบที่ทำผลงานได้ดีบนเบนช์มาร์กสาธารณะ ไม่ได้แปลว่าจะเหมาะที่สุดกับการประชุม งานอีเวนต์ และการแปลเสียงเสมอไป
VoicePing ASR Model V0.1 คือโมเดลแบบรวมศูนย์ตัวแรกของเราที่สร้างขึ้นรอบกลุ่มห้าภาษาหลักของผลิตภัณฑ์ เบนช์มาร์กด้านล่างนี้ตั้งคำถามเชิงปฏิบัติว่า โมเดลนี้ถอดความเสียงพูดที่ผู้ใช้ของเราให้ความสำคัญจริง ๆ ได้ดีเพียงใด
โมเดลนี้ทำอะไรได้บ้าง
VoicePing ASR Model V0.1 ถอดความเสียงพูดในภาษาต่อไปนี้:
- อังกฤษ
- ญี่ปุ่น
- เกาหลี
- จีน
- เวียดนาม
ผลลัพธ์ที่ได้คือบทถอดความที่เป็นรากฐานของฟีเจอร์อื่น ๆ ของ VoicePing เช่น การแปลภาษา คำบรรยาย บันทึกการประชุม และประวัติการสนทนาที่ค้นหาได้
บทความนี้ใช้คำว่า ASR และ STT (Speech-to-Text) แทนกันได้ ทั้งสองคำหมายถึงการถอดความเสียงพูดเป็นข้อความ
การประเมินผล
ชุดข้อมูล
การประเมินผลใช้ชุดเสียงพูดหลายภาษาของ VoicePing จำนวน 1,000 คลิปต่อภาษา รวมความยาวเสียงประมาณ 41 ชั่วโมง คลิปเหล่านี้สะท้อนลักษณะเสียงพูดที่ VoicePing จัดการอยู่จริงในการใช้งาน นั่นคือบทสนทนาจริง ไม่ใช่การอ่านออกเสียงในสภาพแวดล้อมที่สะอาด
| ภาษา | จำนวนคลิป |
|---|---|
| อังกฤษ | 1,000 |
| ญี่ปุ่น | 1,000 |
| เวียดนาม | 1,000 |
| เกาหลี | 1,000 |
| จีน | 1,000 |
| รวม | 5,000 |
ทุกระบบถูกทดสอบด้วยชุดเสียงเดียวกัน
โมเดลที่นำมาเปรียบเทียบ
เราเปรียบเทียบ VoicePing ASR Model V0.1 กับระบบรู้จำเสียงพูดบนคลาวด์ที่ใช้กันแพร่หลายและโมเดล ASR แบบโอเพน ได้แก่ Google Cloud STT, Azure AI Speech, โมเดลถอดความของ OpenAI, ElevenLabs Scribe v2, Deepgram Nova-3, Qwen3-ASR และ SenseVoiceSmall
เกณฑ์การให้คะแนน
ตัวชี้วัดหลักคือ อัตราความผิดพลาดของคำ (Word Error Rate: WER) ยิ่งต่ำยิ่งดี WER วัดจำนวนคำที่ถูกแทรก ลบ หรือแทนที่ เมื่อเทียบกับบทถอดความอ้างอิงที่จัดทำโดยมนุษย์
เวลาตอบสนอง
ความแม่นยำไม่ใช่ข้อกำหนดเดียวสำหรับ ASR ระดับโปรดักชัน เรายังวัดด้วยว่าแต่ละระบบใช้เวลานานเท่าใดในการส่งบทถอดความกลับมา เพราะโมเดลที่แม่นยำแต่ช้าอาจให้ประสบการณ์ที่ไม่ดีในการประชุมสดและงานอีเวนต์ได้เช่นกัน
ผลลัพธ์หลัก
แผนภูมิด้านล่างเปรียบเทียบอัตราความผิดพลาดของคำเฉลี่ยในห้าภาษา ระหว่าง VoicePing ASR Model V0.1 กับระบบแปลงเสียงพูดเป็นข้อความภายนอกในเบนช์มาร์กนี้ แท่งที่ต่ำกว่าคือดีกว่า ส่วนแผนภูมิรายภาษาจะอยู่ในส่วนผลลัพธ์ถัดไป
ความแม่นยำจำแนกตามภาษา
| ระบบ | WER อังกฤษ | WER ญี่ปุ่น | WER เวียดนาม | WER เกาหลี | WER จีน | Macro WER |
|---|---|---|---|---|---|---|
| VoicePing ASR Model V0.1 | 20.2% | 20.4% | 15.5% | 24.5% | 16.0% | 19.3% |
| Google Cloud STT V1 default | 23.1% | 23.5% | 52.1% | 57.8% | 44.2% | 40.1% |
| Google Cloud STT Chirp 2 | 24.5% | 29.7% | 14.8% | 32.8% | 22.6% | 24.9% |
| Google Cloud STT Chirp 3 | 22.9% | 26.4% | 20.1% | 37.4% | 19.2% | 25.2% |
| Azure AI Speech | 23.0% | 21.1% | 21.0% | 37.3% | 22.5% | 25.0% |
| OpenAI GPT-4o Transcribe | 50.6% | 52.4% | 64.3% | 44.1% | 29.1% | 48.1% |
| OpenAI GPT Realtime Whisper | 31.8% | 26.2% | 20.9% | 33.0% | 22.4% | 26.9% |
| Qwen3-ASR 0.6B | 23.8% | 29.7% | 26.2% | 38.2% | 20.9% | 27.7% |
| Qwen3-ASR 1.7B | 21.9% | 25.0% | 22.0% | 33.1% | 20.0% | 24.4% |
| SenseVoiceSmall | 28.0% | 37.4% | 99.9% | 45.9% | 28.1% | 47.9% |
| ElevenLabs Scribe v2 | 28.6% | 20.3% | 15.4% | 31.5% | 21.2% | 23.4% |
| Deepgram Nova-3 | 29.3% | 28.0% | 38.4% | 44.8% | 29.2% | 34.0% |
ตารางอันดับ
| ระบบ | Macro WER | เวลาตอบสนองมัธยฐาน | หมายเหตุ |
|---|---|---|---|
| VoicePing ASR Model V0.1 | 19.3% | 1.22s | ASR หลายภาษาของ VoicePing |
| Google Cloud STT V1 default | 40.1% | 7.47s | ระบบแปลงเสียงเป็นข้อความบนคลาวด์ |
| Google Cloud STT Chirp 2 | 24.9% | 7.12s | ระบบแปลงเสียงเป็นข้อความบนคลาวด์ |
| Google Cloud STT Chirp 3 | 25.2% | 7.32s | ระบบแปลงเสียงเป็นข้อความบนคลาวด์ |
| Azure AI Speech | 25.0% | 7.12s | ระบบแปลงเสียงเป็นข้อความบนคลาวด์ |
| OpenAI GPT-4o Transcribe | 48.1% | 1.53s | ระบบถอดความของ OpenAI |
| OpenAI GPT Realtime Whisper | 26.9% | 7.17s | ระบบถอดความของ OpenAI |
| Qwen3-ASR 0.6B | 27.7% | 3.56s | โมเดล ASR แบบโอเพน |
| Qwen3-ASR 1.7B | 24.4% | 4.18s | โมเดล ASR แบบโอเพน |
| SenseVoiceSmall | 47.9% | 0.07s | โมเดล ASR แบบโอเพน |
| ElevenLabs Scribe v2 | 23.4% | 3.07s | ระบบแปลงเสียงเป็นข้อความบนคลาวด์ |
| Deepgram Nova-3 | 34.0% | 1.33s | ระบบแปลงเสียงเป็นข้อความบนคลาวด์ |
VoicePing ASR Model V0.1 ทำได้ทั้ง macro WER ที่ต่ำที่สุดในเบนช์มาร์กนี้ และเวลาตอบสนองมัธยฐานที่เร็วเป็นอันดับต้น ๆ ที่ 1.22 วินาที ส่วนระบบที่ตอบสนองเร็วกว่าในการทดสอบรอบนี้ ต้องแลกมาด้วยความแม่นยำที่ลดลงอย่างมาก
ผลลัพธ์จำแนกตามภาษา
ภาษาอังกฤษ
VoicePing ASR Model V0.1 มี WER ภาษาอังกฤษต่ำที่สุดในการเปรียบเทียบนี้ที่ 20.2% นำหน้า Qwen3-ASR 1.7B และระบบคลาวด์รายใหญ่ที่ทดสอบในครั้งนี้
ภาษาญี่ปุ่น
ภาษาญี่ปุ่นเป็นหนึ่งในภาษาที่สำคัญที่สุดสำหรับ VoicePing ในชุดข้อมูลนี้ VoicePing ASR Model V0.1 ทำ WER ได้ 20.4% เสมอกันแทบทุกประการกับ ElevenLabs Scribe v2 (20.3%) ในฐานะผลลัพธ์ภาษาญี่ปุ่นที่ดีที่สุด นำหน้า Azure AI Speech และโมเดล ASR แบบโอเพนที่ใช้เป็นฐานเปรียบเทียบ
ภาษาเวียดนาม
ภาษาเวียดนามคือการแข่งขันที่สูสีที่สุดในเบนช์มาร์กนี้: Google Cloud STT Chirp 2 นำที่ WER 14.8% ตามมาติด ๆ ด้วย ElevenLabs Scribe v2 (15.4%) และ VoicePing ASR Model V0.1 (15.5%) ซึ่งแทบจะเสมอกัน
ภาษาเกาหลี
ภาษาเกาหลีแสดงให้เห็นช่องว่างที่ชัดเจนที่สุดช่องหนึ่งในเบนช์มาร์กนี้ VoicePing ASR Model V0.1 ทำ WER ได้ 24.5% นำหน้ากลุ่มระบบอันดับถัดไปอย่างชัดเจน
ภาษาจีน
ภาษาจีนเป็นอีกหนึ่งจุดแข็งของ VoicePing ASR Model V0.1 ด้วย WER 16.0% โดยมี Google Cloud STT Chirp 3 และ Qwen3-ASR 1.7B ตามมาใกล้ที่สุด
สิ่งที่เราได้เรียนรู้
- VoicePing ASR Model V0.1 มีความแม่นยำโดยรวมสูงที่สุดในเบนช์มาร์กนี้ ด้วย macro WER 19.3% ครอบคลุมทั้งห้าภาษา
- ผลลัพธ์ไม่ได้เท่ากันในทุกภาษา: ภาษาอังกฤษ เกาหลี และจีน คือจุดที่ VoicePing มีความได้เปรียบชัดเจนที่สุดในการทดสอบรอบนี้ ภาษาญี่ปุ่นแทบจะเสมอกับระบบคลาวด์ที่ดีที่สุด ส่วนภาษาเวียดนามเป็นการแข่งขันสูสีที่ตัดสินกันด้วยส่วนต่างไม่ถึงหนึ่งจุด
- ระบบใช้งานทั่วไปขนาดใหญ่กว่า ไม่ได้ชนะโดยอัตโนมัติบนเสียงพูดหลายภาษาที่จำเพาะกับผลิตภัณฑ์
- ทั้งความแม่นยำและเวลาตอบสนองล้วนสำคัญต่อประสบการณ์ผู้ใช้ โดยเฉพาะในการประชุมสดและงานอีเวนต์
ก้าวต่อไป
VoicePing ASR Model V0.1 คือรุ่นแรกที่เปิดตัว และเบนช์มาร์กนี้เป็นเพียงภาพ ณ ช่วงเวลาหนึ่ง ชุดข้อมูลถูกสร้างขึ้นจากลักษณะเสียงพูดที่ VoicePing จัดการอยู่จริง ดังนั้นมันจึงวัดความพร้อมสำหรับผลิตภัณฑ์ของเรา ไม่ได้ทำหน้าที่แทนเบนช์มาร์กสาธารณะระดับสากล — และระบบคลาวด์ในการเปรียบเทียบนี้จะยังพัฒนาต่อไป เช่นเดียวกับโมเดลของเรา นอกจากนี้ เวลาตอบสนองยังขึ้นอยู่กับสภาพแวดล้อมการติดตั้งใช้งานด้วย จึงควรมองตัวเลขด้านความเร็วเป็นค่าบ่งชี้แนวโน้มมากกว่าค่าสัมบูรณ์
จากจุดนี้ งานของเราจะมุ่งไปยังจุดที่การประเมินครั้งนี้ชี้ให้เห็น: ลดรูปแบบข้อผิดพลาดที่ยังหลงเหลืออยู่ในแต่ละภาษา ขยายชุดทดสอบด้วยเสียงที่มีเสียงรบกวนมากขึ้น ยาวขึ้น และเฉพาะทางมากขึ้น รวมถึงขยายการเปรียบเทียบเมื่อมีระบบแปลงเสียงพูดเป็นข้อความใหม่ ๆ เปิดตัว คะแนนอัตโนมัติเป็นตัวชี้นำงานเหล่านี้ และการตรวจทานบทถอดความโดยมนุษย์ยังคงเป็นส่วนหนึ่งของการตัดสินใจก่อนปล่อยทุกรุ่น
บทสรุป
VoicePing ASR Model V0.1 คือโมเดล ASR หลายภาษาแบบรวมศูนย์ตัวแรกของเรา สำหรับภาษาอังกฤษ ญี่ปุ่น เกาหลี จีน และเวียดนาม ในเบนช์มาร์กขนาด 5,000 คลิปนี้ โมเดลให้ความแม่นยำโดยรวมสูงที่สุดในบรรดาระบบที่ทดสอบ พร้อมเวลาตอบสนองที่เร็วเป็นอันดับต้น ๆ — และมันคือชั้นการถอดความที่ฟีเจอร์อื่น ๆ ทั้งหมดของ VoicePing ต่อยอดขึ้นไป
จุดเปลี่ยนที่สำคัญคือโฟกัส: เรากำลังประเมิน ASR ในฐานะส่วนหนึ่งของผลิตภัณฑ์การสื่อสารหลายภาษาที่ใช้งานจริง ไม่ใช่ในฐานะเดโมของโมเดลที่แยกอยู่โดดเดี่ยว
