VoicePing Diarization v0.1 là mô hình phân tách người nói đa ngôn ngữ, được đánh giá trên benchmark 42 tệp cùng NeMo, pyannoteAI precision-2, AssemblyAI và Deepgram.
Giới thiệu VoicePing Diarization v0.1
VoicePing Diarization v0.1 là bản phát hành công khai đầu tiên của chúng tôi cho mô hình phân tách người nói: một mô hình phân đoạn người nói cho cuộc họp đa ngôn ngữ, được thiết kế để xác định ai nói vào lúc nào trước bước khớp danh tính người nói ở hạ nguồn.
Bài viết này giới thiệu mô hình qua benchmark đa ngôn ngữ 42 tệp vào tháng 7 năm 2026. NeMo, pyannoteAI precision-2, AssemblyAI và Deepgram được đưa vào làm bối cảnh đánh giá để người đọc hiểu VoicePing Diarization v0.1 đứng ở đâu so với các lựa chọn gắn nhãn người nói mã nguồn mở và thương mại quen thuộc.
Có một lưu ý quan trọng: VoicePing Diarization v0.1 là tên mô hình công khai cho hàng benchmark được chọn, không phải kiểm tra registry sản xuất trực tiếp. Việc chọn mô hình trong sản xuất được điều khiển bằng cấu hình runtime, và sản xuất còn bao gồm khớp danh tính người nói ở hạ nguồn, nằm ngoài benchmark chỉ đo diarization này.
Thiết lập đánh giá
Benchmark gồm 42 tệp và khoảng 10,5 giờ âm thanh: năm bộ đơn ngữ bằng tiếng Anh, Nhật, Hàn, Việt và Quan thoại, cộng thêm hai tệp đa ngôn ngữ có chuyển mã. Các kịch bản kéo dài từ 30 giây đến 1 giờ, với 2-9 người nói và 0-30% lời nói chồng lấn.
Các tệp là hội thoại tổng hợp được ghép từ bản ghi một người nói thật. Điều đó cho nhãn tham chiếu chính xác và cách chấm điểm lặp lại được, nhưng sạch hơn nhiều cuộc họp thực tế. Kết quả nên được xem là benchmark có kiểm soát, không phải thay thế cho đánh giá cuộc họp ngoài miền.
Bộ đánh giá cố ý hẹp hơn bản xuất nội bộ thô. NeMo được đưa vào làm baseline mở cục bộ chính, dùng kết quả NeMo Neural MSDD từ các artifact chạy lại. pyannoteAI precision-2 được đưa vào như dịch vụ diarization thương mại chuyên dụng rõ nhất. Deepgram và AssemblyAI được đưa vào vì người mua thường so sánh chúng khi đánh giá transcript có gắn người nói, nhưng các ô bị che không được dùng cho xếp hạng tiêu đề trực tiếp.
Chi tiết phương pháp: DER được chấm theo diarization error rate kiểu pyannote.metrics, dùng fair collar, tính cả lời nói chồng lấn và tổng hợp theo thời lượng corpus. Bản xuất đánh giá nghiên cứu tháng 7 năm 2026 dùng hàng benchmark VoicePing Diarization v0.1 từ snapshot Hugging Face voiceping-inc/titanet (titanet_finetuned.nemo), baseline NeMo Neural MSDD, pyannoteAI precision-2 và đầu ra nhãn người nói gắn với transcript từ AssemblyAI và Deepgram.
Kết quả tổng thể
| Hệ thống | Tệp | DER | Vai trò | RTF |
|---|---|---|---|---|
| VoicePing Diarization v0.1 | 42 | 4.01% | Mô hình diarization của VoicePing | 0.024 |
| NeMo | 42 | 6.64% | Baseline NeMo Neural MSDD | 0.020 |
| pyannoteAI precision-2 | 42 | 8.55% | API diarization thương mại chuyên dụng | 0.028 |
| AssemblyAI | 42 | xx | Nhãn người nói gắn với transcript | 0.049 |
| Deepgram | 41 | xx | Nhãn người nói gắn với transcript | 0.006 |
Kết luận gọn nhất rất đơn giản: VoicePing Diarization v0.1 dẫn đầu benchmark có kiểm soát, tiếp theo là NeMo rồi pyannoteAI precision-2. API diarization chuyên dụng vẫn đủ gần để là đối tượng so sánh bên ngoài nghiêm túc. Các hàng gắn với transcript được giữ làm bối cảnh, còn so sánh độ chính xác cốt lõi vẫn là VoicePing Diarization v0.1, NeMo và pyannoteAI precision-2.
Biểu đồ cấu phần bao gồm cả năm hàng công khai. VoicePing Diarization v0.1, NeMo và pyannoteAI precision-2 hiển thị nhãn DER chính cạnh các đoạn miss, false alarm và speaker-confusion. AssemblyAI và Deepgram được giữ như hàng bối cảnh gắn với transcript, với các đoạn cấu phần theo tỷ lệ và nhãn masked DER.
Kết quả theo ngôn ngữ
| Ngôn ngữ | VoicePing Diarization v0.1 | NeMo | pyannoteAI precision-2 | AssemblyAI | Deepgram |
|---|---|---|---|---|---|
| Tiếng Anh | 3.54% | 4.50% | 4.40% | 21.73% | 8.23% |
| Tiếng Nhật | 3.79% | 7.30% | 10.87% | xx | 28.76% |
| Tiếng Hàn | 4.08% | 10.86% | 11.21% | xx | xx |
| Tiếng Việt | 4.12% | 5.56% | 7.95% | xx | xx |
| Quan thoại | 4.37% | 5.10% | 7.98% | 25.78% | 11.67% |
| Hỗn hợp, 5 ngôn ngữ | 3.50% | 7.53% | 16.54% | xx | xx |
| Hỗn hợp, 4 ngôn ngữ | 4.14% | 4.59% | 4.62% | xx | xx |
Theo ngôn ngữ, VoicePing Diarization v0.1 là hàng mạnh nhất trong cả bảy nhóm ngôn ngữ của bảng công khai này. NeMo vẫn là baseline mở hữu ích; hàng này dùng NeMo Neural MSDD. pyannoteAI precision-2 ổn định và khả dụng trên nhiều ngôn ngữ, nhưng trong bảng này đều đứng sau VoicePing Diarization v0.1.
Các hàng API kể một câu chuyện khác. Deepgram và AssemblyAI là tham chiếu hữu ích cho transcript có gắn người nói, nhưng bảng công khai cho thấy vì sao không nên trình bày chúng như lựa chọn thay thế diarization trực tiếp cho timeline người nói đa ngôn ngữ.
Gợi ý từ kịch bản và âm thanh ngắn
Phần kịch bản nên được đọc theo từng đoạn, không phải như một trung bình duy nhất cho cả bộ. VoicePing Diarization v0.1 mạnh nhất ở nhóm cơ bản 5 phút với DER 3.92%, giữ mức một chữ số trung bình ở âm thanh 2 phút 6.04%, âm thanh 5 phút không chồng lấn 5.93%, và âm thanh 30 phút với 7-9 người nói 5.57%, rồi tăng ở các nhóm họp khó hơn: 8.23% cho 5 phút với 30% chồng lấn, 8.69% cho 5 phút với 7-9 người nói, và 8.28% cho âm thanh 60 phút.
Với hoạch định sản phẩm, điều đó có nghĩa cần tách ba câu hỏi. Thứ nhất, pipeline diarization nào mạnh nhất cho cuộc họp đầy đủ? Thứ hai, mô hình embedding nào vững khi mỗi người nói có rất ít lời thoại? Thứ ba, toàn bộ pipeline sản xuất hoạt động ra sao sau tinh chỉnh MSDD và khớp danh tính người nói? Bài viết này chỉ trả lời phần đầu ở lớp phân đoạn.
Tốc độ vẫn thuận lợi cho hệ thống cục bộ. Bản xuất toàn bộ suite PC-54 báo cáo VoicePing Diarization v0.1 ở 0.024 RTF, gần NeMo ở 0.020 RTF và pyannoteAI precision-2 ở 0.028 RTF. Thời gian API bao gồm hành vi nhà cung cấp và nên được đọc như bối cảnh vận hành, không phải benchmark chuẩn hóa phần cứng. Biểu đồ tốc độ giữ AssemblyAI và Deepgram như bối cảnh API masked DER để phần so sánh thời gian tập trung vào bối cảnh vận hành.
API gắn với transcript: hữu ích, nhưng khác bản chất
Deepgram và AssemblyAI gắn nhãn người nói vào đầu ra transcription. Điều đó hữu ích khi người dùng cần transcript có người nói, nhưng không giống với việc diarize toàn bộ timeline âm thanh. Nếu lời nói không được transcribe, hoặc transcript không ổn định ở một ngôn ngữ, timeline người nói sẽ thừa hưởng hạn chế đó.
AssemblyAI hành xử thiên về âm học hơn Deepgram, nhưng một số hàng vẫn bị che trong bảng công khai. Trong bài này, cả hai nhà cung cấp vẫn nằm trong phương pháp, tổng quan và biểu đồ ngôn ngữ vì chúng là tham chiếu phổ biến trong hành trình mua hàng, không phải vì chúng là đối thủ diarization mạnh nhất.
Điều này có ý nghĩa gì với VoicePing
Bài viết này trình bày kết quả benchmark VoicePing được chọn dưới tên VoicePing Diarization v0.1. Cách này giữ câu chuyện tập trung vào danh tính mô hình hướng khách hàng thay vì tên thử nghiệm nội bộ. VoicePing Diarization v0.1 dẫn đầu benchmark, và so sánh nghiêm túc cần theo dõi là pyannoteAI precision-2.
Điều đó không làm giảm tầm quan trọng của chẩn đoán nội bộ liên tục. Diarization sản xuất chỉ là một giai đoạn: căn chỉnh transcript, phân đoạn người nói, rồi khớp danh tính người nói với giọng đã biết trong workspace. Giai đoạn cuối biến nhãn ẩn danh thành cùng tên đồng nghiệp qua nhiều cuộc họp, điều mà các API trong benchmark không cung cấp. Phần tiếp theo công khai nên đánh giá toàn bộ pipeline sản xuất, không chỉ một hàng phân đoạn riêng lẻ.
Đó cũng là lý do bài viết tránh công bố các giai thoại clip ngắn chưa ổn định dưới dạng tỷ lệ. Tệp ngắn có thể lộ chế độ lỗi thật, nhưng cần một bài kiểm thử chấp nhận riêng với đủ ví dụ để tránh ép câu chuyện vào một kịch bản. Câu hỏi sản xuất không chỉ là segmenter có thắng trên corpus có kiểm soát hay không; mà là người dùng có thấy đúng tên người nói, lượt nói ổn định và transcript hữu ích một cách nhất quán qua họp trực tiếp, cuộc gọi tải lên và đoạn thoại ngắn hay không.
Hạn chế và kết luận
Hạn chế chính là bộ đánh giá. Hội thoại tổng hợp cho tham chiếu chính xác, nhưng sạch hơn cuộc họp thực và đến từ miền liên quan tới dữ liệu huấn luyện của chúng tôi. Timeline cũng gần như đầy lời nói từ đầu đến cuối, nên hành vi false-alarm chưa bị gây áp lực đủ. Vẫn cần một bộ đa người nói ngoài miền thực tế, bao gồm bản ghi có chồng lấn khó hơn, trước khi đưa ra tuyên bố sản xuất cuối cùng.
Trong các giới hạn đó, kết luận chính là: VoicePing Diarization v0.1 dẫn đầu benchmark 42 tệp, pyannoteAI precision-2 là hàng API thương mại chuyên dụng cần theo dõi, và các sản phẩm gắn với transcript nên được giữ làm tham chiếu định tính ở những nơi có ô bị che. Công việc tiếp theo nên tập trung vào danh tính mô hình sản xuất, hành vi âm thanh ngắn và benchmark pipeline sản xuất đầu cuối.
