İngilizce, Japonca, Korece, Çince ve Vietnamca için çok dilli konuşmadan metne dönüştürme modeli VoicePing ASR Model V0.1 ile tanışın.
VoicePing ASR Model V0.1 ile Tanışın
Bugün, VoicePing’de en sık karşılaşılan diller olan İngilizce, Japonca, Korece, Çince ve Vietnamca için geliştirdiğimiz çok dilli konuşmadan metne dönüştürme modelimiz VoicePing ASR Model V0.1‘i tanıtıyoruz.
VoicePing, çok dilli sözlü iletişim etrafında şekillenir: toplantılar, etkinlikler, sesli çeviri, transkriptler, özetler ve arama. Bu iş akışlarında ASR (otomatik konuşma tanıma) yalıtılmış bir özellik değildir; tüm ürün deneyiminin ilk katmanıdır. Transkript güvenilir değilse, sonrasındaki her adımın değeri azalır.
VoicePing ASR Model V0.1 tam da bu gerçeklik için tasarlandı. En yoğun hizmet verdiğimiz beş temel dile odaklanıyor ve gerçek konuşmalar için daha temiz transkriptler üretmeyi hedefliyor.
Çok Dilli Çalışma İçin Tek Model
Genel amaçlı konuşma tanıma hızla gelişti, ancak gerçek dünyadaki çok dilli ses kayıtlarının hâlâ zorlu yönleri var:
- Japonca, Korece ve Çince, dile duyarlı metin işleme gerektirir.
- Vietnamca, doğru ton işaretlerine ve sözcük sınırlarına bağlıdır.
- Uzun veya gürültülü kayıtlar; eksik transkriptler, boş çıktılar ve tekrarlanan metinler ortaya çıkarabilir.
- Bulut modelleri, API aynı görünse bile diller arasında farklı davranabilir.
- Herkese açık bir kıyaslamada iyi performans gösteren bir sistem; toplantılar, etkinlikler ve sesli çeviri için her zaman en iyi seçenek olmayabilir.
VoicePing ASR Model V0.1, bu beş dilli ürün yüzeyi etrafında oluşturduğumuz ilk bütünleşik modelimizdir. Aşağıdaki kıyaslama pratik bir soruyu yanıtlıyor: Kullanıcılarımızın gerçekten önemsediği konuşmaları ne kadar iyi yazıya döküyor?
Ne Yapıyor?
VoicePing ASR Model V0.1 şu dillerdeki konuşmaları yazıya döker:
- İngilizce
- Japonca
- Korece
- Çince
- Vietnamca
Ortaya çıkan transkript; çeviri, altyazılar, toplantı notları ve aranabilir konuşma geçmişi gibi diğer VoicePing özelliklerinin temelini oluşturur.
Bu makalede ASR ve STT birbirinin yerine kullanılmaktadır. Her ikisi de konuşmadan metne dönüştürme anlamına gelir.
Değerlendirmeler
Veri Kümesi
Değerlendirmede, dil başına 1.000 kayıt içeren ve toplamda yaklaşık 41 saatlik ses kaydından oluşan çok dilli bir VoicePing konuşma kümesi kullanıldı. Kayıtlar, VoicePing’in pratikte karşılaştığı konuşma türlerini yansıtıyor: temiz sesli okuma kayıtları değil, gerçek konuşmalar.
| Dil | Kayıt Sayısı |
|---|---|
| İngilizce | 1,000 |
| Japonca | 1,000 |
| Vietnamca | 1,000 |
| Korece | 1,000 |
| Çince | 1,000 |
| Toplam | 5,000 |
Tüm sistemler aynı ses kümesi üzerinde test edildi.
Karşılaştırılan Modeller
VoicePing ASR Model V0.1’i; Google Cloud STT, Azure AI Speech, OpenAI transkripsiyon modelleri, ElevenLabs Scribe v2, Deepgram Nova-3, Qwen3-ASR ve SenseVoiceSmall dahil olmak üzere yaygın olarak kullanılan bulut konuşma sistemleri ve açık ASR modelleriyle karşılaştırıyoruz.
Puanlama
Ana metrik kelime hata oranıdır (WER): düşük olması daha iyidir. WER, insan referans transkriptine kıyasla kaç kelimenin eklendiğini, silindiğini veya değiştirildiğini ölçer.
Gecikme
Üretim ortamında ASR için doğruluk tek gereksinim değildir. Her sistemin transkripti ne kadar sürede döndürdüğünü de ölçüyoruz; çünkü doğru ama yavaş bir model, canlı toplantılarda ve etkinliklerde yine de kötü bir deneyim yaratabilir.
Ana Sonuçlar
Aşağıdaki grafik, bu kıyaslamada yer alan VoicePing ASR Model V0.1 ile harici konuşmadan metne dönüştürme sistemlerinin beş dildeki ortalama kelime hata oranını karşılaştırıyor. Çubuklar ne kadar kısaysa sonuç o kadar iyidir. Dil bazlı grafikler sonuçlar bölümünde yer alıyor.
Dile Göre Doğruluk
| Sistem | EN WER | JA WER | VI WER | KO WER | ZH WER | Makro WER |
|---|---|---|---|---|---|---|
| VoicePing ASR Model V0.1 | 20.2% | 20.4% | 15.5% | 24.5% | 16.0% | 19.3% |
| Google Cloud STT V1 default | 23.1% | 23.5% | 52.1% | 57.8% | 44.2% | 40.1% |
| Google Cloud STT Chirp 2 | 24.5% | 29.7% | 14.8% | 32.8% | 22.6% | 24.9% |
| Google Cloud STT Chirp 3 | 22.9% | 26.4% | 20.1% | 37.4% | 19.2% | 25.2% |
| Azure AI Speech | 23.0% | 21.1% | 21.0% | 37.3% | 22.5% | 25.0% |
| OpenAI GPT-4o Transcribe | 50.6% | 52.4% | 64.3% | 44.1% | 29.1% | 48.1% |
| OpenAI GPT Realtime Whisper | 31.8% | 26.2% | 20.9% | 33.0% | 22.4% | 26.9% |
| Qwen3-ASR 0.6B | 23.8% | 29.7% | 26.2% | 38.2% | 20.9% | 27.7% |
| Qwen3-ASR 1.7B | 21.9% | 25.0% | 22.0% | 33.1% | 20.0% | 24.4% |
| SenseVoiceSmall | 28.0% | 37.4% | 99.9% | 45.9% | 28.1% | 47.9% |
| ElevenLabs Scribe v2 | 28.6% | 20.3% | 15.4% | 31.5% | 21.2% | 23.4% |
| Deepgram Nova-3 | 29.3% | 28.0% | 38.4% | 44.8% | 29.2% | 34.0% |
Sıralama Tablosu
| Sistem | Makro WER | Medyan gecikme | Notlar |
|---|---|---|---|
| VoicePing ASR Model V0.1 | 19.3% | 1.22s | VoicePing çok dilli ASR |
| Google Cloud STT V1 default | 40.1% | 7.47s | Bulut konuşmadan metne dönüştürme |
| Google Cloud STT Chirp 2 | 24.9% | 7.12s | Bulut konuşmadan metne dönüştürme |
| Google Cloud STT Chirp 3 | 25.2% | 7.32s | Bulut konuşmadan metne dönüştürme |
| Azure AI Speech | 25.0% | 7.12s | Bulut konuşmadan metne dönüştürme |
| OpenAI GPT-4o Transcribe | 48.1% | 1.53s | OpenAI transkripsiyon |
| OpenAI GPT Realtime Whisper | 26.9% | 7.17s | OpenAI transkripsiyon |
| Qwen3-ASR 0.6B | 27.7% | 3.56s | Açık ASR modeli |
| Qwen3-ASR 1.7B | 24.4% | 4.18s | Açık ASR modeli |
| SenseVoiceSmall | 47.9% | 0.07s | Açık ASR modeli |
| ElevenLabs Scribe v2 | 23.4% | 3.07s | Bulut konuşmadan metne dönüştürme |
| Deepgram Nova-3 | 34.0% | 1.33s | Bulut konuşmadan metne dönüştürme |
VoicePing ASR Model V0.1, bu kıyaslamadaki en düşük makro WER değerini 1.22 saniyelik medyan yanıt süresiyle, yani en hızlı sistemlerden biri olarak elde ediyor. Bu çalışmada daha hızlı yanıt veren sistemler, bunun karşılığında ciddi ölçüde doğruluktan feragat ediyor.
Dile Göre Sonuçlar
İngilizce
VoicePing ASR Model V0.1, %20.2 ile bu karşılaştırmadaki en düşük İngilizce WER değerine sahip; Qwen3-ASR 1.7B ve burada test edilen büyük bulut sistemlerinin önünde yer alıyor.
Japonca
Japonca, VoicePing için en önemli dillerden biri. Bu veri kümesinde VoicePing ASR Model V0.1, %20.4 WER değerine ulaşarak en iyi Japonca sonucu için ElevenLabs Scribe v2 (%20.3) ile neredeyse başa baş bir sonuç elde ediyor; Azure AI Speech ve açık ASR modellerinin önünde yer alıyor.
Vietnamca
Vietnamca, bu kıyaslamadaki en çekişmeli yarış: Google Cloud STT Chirp 2, %14.8 WER ile önde; ElevenLabs Scribe v2 (%15.4) ve VoicePing ASR Model V0.1 (%15.5) hemen arkasında neredeyse başa baş durumda.
Korece
Korece, kıyaslamadaki en belirgin farklardan birini ortaya koyuyor. VoicePing ASR Model V0.1, %24.5 WER ile kendisine en yakın sistem grubunun açık ara önünde yer alıyor.
Çince
Çince, %16.0 WER ile VoicePing ASR Model V0.1’in güçlü olduğu bir diğer alan; Google Cloud STT Chirp 3 ve Qwen3-ASR 1.7B en yakın takipçileri.
Öğrendiklerimiz
- VoicePing ASR Model V0.1, beş dil genelinde %19.3 makro WER ile bu kıyaslamadaki en güçlü genel doğruluğa sahip.
- Sonuçlar diller arasında tekdüze değil: Bu çalışmada İngilizce, Korece ve Çince, VoicePing’in en belirgin avantaj sağladığı diller; Japonca en iyi bulut sistemiyle neredeyse başa baş; Vietnamca ise bir puandan az bir farkla belirlenen çekişmeli bir yarış.
- Daha büyük genel amaçlı sistemler, ürüne özgü çok dilli konuşmalarda otomatik olarak kazanmıyor.
- Doğruluk ve yanıt süresi, özellikle canlı toplantılarda ve etkinliklerde kullanıcı deneyimi için birlikte önem taşıyor.
Sırada Ne Var?
VoicePing ASR Model V0.1 bir ilk sürüm ve bu kıyaslama anlık bir görüntü. Veri kümesi, VoicePing’in pratikte karşılaştığı konuşma türlerinden oluşturuldu; dolayısıyla evrensel bir kamu kıyaslamasının yerini tutmak yerine ürünümüz için hazır olma düzeyini ölçüyor — karşılaştırmadaki bulut sistemleri de modelimiz gibi gelişmeye devam edecek. Gecikme ayrıca dağıtım ortamına bağlı olduğundan, hız rakamlarını mutlak değerler değil, yol gösterici veriler olarak değerlendirin.
Buradan itibaren çalışmalarımız bu değerlendirmenin işaret ettiği alanlara odaklanıyor: her dilde kalan hata kalıplarını azaltmak, test kümesini daha gürültülü, daha uzun ve alana daha özgü ses kayıtlarıyla genişletmek ve yeni konuşmadan metne dönüştürme sistemleri yayınlandıkça karşılaştırmayı genişletmek. Otomatik puanlar bu çalışmaya yön veriyor ve insan eliyle yapılan transkript incelemesi her sürüm kararının bir parçası olmaya devam ediyor.
Sonuç
VoicePing ASR Model V0.1; İngilizce, Japonca, Korece, Çince ve Vietnamca için geliştirdiğimiz ilk bütünleşik çok dilli ASR modelimizdir. 5.000 kayıtlık bu kıyaslamada, test edilen sistemler arasında en güçlü genel doğruluğu en hızlı yanıt sürelerinden bazılarıyla birlikte sunuyor — ve diğer tüm VoicePing özelliklerinin üzerine inşa edildiği transkripsiyon katmanını oluşturuyor.
Asıl önemli değişim odak noktasında: ASR’yi yalıtılmış bir model demosu olarak değil, gerçek bir çok dilli iletişim ürününün parçası olarak değerlendiriyoruz.
