Điều gì suy giảm khi nhận dạng người nói ở quy mô lớn? Benchmark open-set đa ngôn ngữ với 5 mô hình

Các benchmark nhận dạng người nói thường nhấn mạnh chênh lệch nhỏ về equal error rate và thứ hạng mô hình. Nghiên cứu này tập trung vào quyết định quan trọng trong hệ thống open-set: kết quả khớp đứng đầu có đủ mạnh và rõ ràng để chấp nhận hay không khi người nói của probe có thể chưa được đăng ký.

Kết luận điều hành

Khi có 4 giây lời nói và 4 mẫu đăng ký, khác biệt thực tế giữa 5 mô hình trở nên nhỏ. Ở 2 giây, ReDimNet-B6 và w2v-BERT-SV tạo thành nhóm dẫn đầu. ReDimNet có cơ sở nghiên cứu tổng thể mạnh nhất vì checkpoint gọn nhẹ của nó duy trì hiệu năng tốt trong đánh giá hold-out chính cũng như các kiểm tra hỗ trợ trên dữ liệu sạch và gallery lớn. Tuy nhiên, bằng chứng này chưa đủ để quyết định thay thế mô hình production.

Kết quả vận hành quan trọng nhất là phải hiệu chỉnh quy tắc từ chối riêng cho từng mô hình. Một ngưỡng cosine dùng chung sẽ so sánh cả thang điểm khác nhau giữa các không gian embedding, thay vì chỉ so sánh khả năng phân biệt người nói. Mỗi checkpoint cần ngưỡng tương đồng và khoảng cách giữa hạng nhất–hạng nhì được chọn trên các danh tính phát triển đại diện.

Phần còn lại của bài viết lần lượt trả lời bốn câu hỏi: Mô hình nào vẫn đáng tin cậy khi đoạn nói ngắn? Khác biệt giữa các mô hình còn tồn tại khi có 4 giây âm thanh không? Nên từ chối người nói lạ như thế nào? Và bằng chứng tổng hợp về độ chính xác, chi phí tính toán và giấy phép có đủ cho quyết định production không?

Đánh giá hold-out chính

Bằng chứng nào nên được coi trọng nhất? Phép so sánh open-set tách biệt danh tính là bằng chứng chính vì nó tách người nói dùng để hiệu chỉnh khỏi người nói kiểm thử cuối, đồng thời so sánh cả 5 mô hình. Với mỗi ngôn ngữ, 20 danh tính được giữ trong gallery và 10 danh tính bị loại hoàn toàn. Năm danh tính bị loại dùng để chọn ngưỡng tương đồng và margin giữa hai điểm cao nhất; năm danh tính còn lại kiểm tra các lựa chọn đó mà không thay đổi. Thiết kế này tạo ra gallery 100 người nói, 25 danh tính lạ cho phát triển và 25 danh tính lạ riêng biệt cho kiểm thử. Mọi mô hình sử dụng cùng các nhóm probe được xác định bằng hàm băm.

Nhận dạng open-set gồm hai quyết định gắn liền: người nói đã đăng ký nào có độ tương đồng cao nhất, và mức khớp đó có đủ chắc chắn để chấp nhận hay không. Chúng tôi báo cáo equal error rate (EER), detection-and-identification rate (DIR)—tỷ lệ probe đã biết được nhận dạng đúng và chấp nhận—cùng false accept rate (FAR) trên người nói lạ.

Ngưỡng và margin chỉ được chọn trên danh tính phát triển với mục tiêu FAR của người lạ phát triển không quá 1%, sau đó áp dụng nguyên trạng cho nhóm kiểm thử. Khoảng tin cậy dùng 2.000 lần bootstrap theo cụm người nói, và 50 phép chia danh tính xác định đo độ nhạy theo tập người nói được chọn. Sự tách biệt này khiến đánh giá hold-out trở thành bằng chứng open-set đáng tin cậy nhất trong nghiên cứu.

Phép chia chính với 4 embedding đăng ký cho kết quả:

Đánh giá này thiết lập bằng chứng tổng thể mạnh nhất. Phần tiếp theo tách bằng chứng theo từng điều kiện vận hành để làm rõ lựa chọn mô hình cho lời nói ngắn, lời nói 4 giây và việc từ chối người nói lạ.

Kết quả theo điều kiện vận hành

Bảng kết quả chính ở trên trả lời ba câu hỏi vận hành. Mỗi mục bắt đầu bằng kết luận ổn định, sau đó trình bày ước lượng điểm và độ bất định hỗ trợ cho kết luận đó.

Mô hình nào vẫn mạnh khi chỉ có 2 giây?

Khi chỉ có 2 giây, ReDimNet và w2v-BERT tạo thành nhóm dẫn đầu. Trong phép chia chính, ReDimNet có DIR cao nhất. So sánh bootstrap ghép cặp theo người nói với TitaNet ước tính mức tăng DIR là 11,0 điểm cho ReDimNet (95% CI 7,4–15,2), 8,4 điểm cho w2v-BERT (4,6–12,4) và 5,8 điểm cho WeSpeaker (2,2–9,6). Cả ba vẫn có ý nghĩa sau hiệu chỉnh Holm; mức tăng 1 điểm của ECAPA không có ý nghĩa.

Phân tích độ ổn định bổ sung điều kiện cho ước lượng điểm đó chứ không mâu thuẫn với nó. Qua 50 phép chia xác định, DIR trung vị là 92,8% cho w2v-BERT và 92,0% cho ReDimNet, với khoảng bách phân vị 5–95 chồng lấn đáng kể. Vì vậy, bằng chứng hỗ trợ một cặp dẫn đầu cho lời nói ngắn, không phải một bảng xếp hạng nghiêm ngặt từ 1 đến 5.

Lựa chọn mô hình còn quan trọng ở 4 giây không?

Không đáng kể trong phạm vi bằng chứng hiện tại. Ở 4 giây, không có khác biệt vận hành nào giữa các ứng viên và TitaNet còn có ý nghĩa sau hiệu chỉnh. Các khoảng chồng lấn và cả 5 mô hình đều gần bão hòa. DIR quan sát 98,8% của TitaNet không chứng minh ưu thế, cũng như FAR quan sát 0% của ReDimNet không chứng minh rủi ro người lạ bằng 0. Với 250 probe người lạ kiểm thử, không có lần chấp nhận sai vẫn cho cận trên nhị thức chính xác 95% là 1,46%. Khi có đủ 4 giây, độ bất định và rủi ro vận hành quan trọng hơn thứ hạng mô hình.

Nên từ chối người nói lạ như thế nào?

Nên dùng hiệu chỉnh riêng từng mô hình thay vì một ngưỡng cosine chung. Ngưỡng tương đồng kiểm soát độ mạnh tuyệt đối của kết quả khớp, còn margin giữa hạng nhất và hạng nhì loại bỏ các kết quả mơ hồ. Cả hai phải được chọn mà không dùng các danh tính dành cho kiểm thử cuối. Kết quả hold-out cho thấy quy tắc này chuyển được sang người lạ chưa gặp, nhưng nhóm kiểm thử nhỏ vẫn để lại độ bất định đáng kể.

Đây là các kết luận hold-out chính. Trước khi áp dụng rộng hơn, phần tiếp theo kiểm tra xem chúng có còn nhất quán trong benchmark sạch đơn giản hơn và gallery lớn hơn nhiều hay không.

Các kiểm tra hỗ trợ

Các phát hiện chính có phụ thuộc vào một giao thức duy nhất không? Hai kiểm tra hỗ trợ trả lời hai phần khác nhau. Benchmark sạch kiểm tra sức mạnh cơ bản và độ nhạy theo thời lượng trên cả 5 mô hình; chẩn đoán 900 người nói kiểm tra khả năng mở rộng gallery chỉ cho TitaNet và ReDimNet. Không kiểm tra nào thay thế đánh giá hold-out chính.

Benchmark đa ngôn ngữ sạch

Cả 5 mô hình có thực sự mạnh trên lời nói sạch không? Có. Benchmark sạch sử dụng 30 danh tính đã biết và 10 danh tính lạ cho mỗi ngôn ngữ. Điều kiện chính là gallery cân bằng 150 người nói với probe 4 giây và 4 embedding đăng ký. Đây là kiểm tra hỗ trợ về sức mạnh mô hình, không phải kết quả chính về người lạ hay mức sẵn sàng cho cuộc họp.

Ở 4 giây, không mô hình nào có EER trên 0,74% và mọi mô hình đều vượt 99,5% độ chính xác top-1 closed-set. ReDimNet có EER thấp nhất, nhưng toàn bộ độ chênh chỉ là 0,33 điểm phần trăm.

Chênh lệch 39,6 điểm về tỷ lệ chấp nhận người lạ ở ngưỡng cố định 0,5 cho thấy không thể chuyển một ngưỡng giữa các mô hình. Thời lượng và số mẫu đăng ký có ảnh hưởng thực tế lớn hơn chênh lệch EER nhỏ ở 4 giây: thêm mẫu đăng ký thường giúp cải thiện, probe 2 giây bộc lộ khác biệt rõ hơn, và benchmark bắt đầu bão hòa ở 4 giây.

Xu hướng này nhất quán với kết quả đã công bố nhưng không phải là một phép tái lập. Bài báo TitaNet báo cáo EER 0,68% trên thử nghiệm verification VoxCeleb1 đã làm sạch, còn bài báo ReDimNet báo cáo 0,40% cho ReDimNet-B6 SF2-LM trên VoxCeleb1-O Cleaned. Các thử nghiệm đó khác gallery nhận dạng đa ngôn ngữ của chúng tôi về âm thanh, thời lượng, danh tính, quần thể điểm và tác vụ.

Kiểm tra sạch xác nhận sức mạnh cơ bản nhưng không kiểm tra khả năng chịu được gallery lớn hơn. Chẩn đoán tiếp theo đặt câu hỏi hẹp đó cho hai mô hình mà nó bao gồm.

Chẩn đoán gallery 900 người nói

ReDimNet còn cạnh tranh khi gallery mở rộng không? Theo hướng kết quả, có. Kiểm tra hỗ trợ này mở rộng cùng nguồn dữ liệu sạch lên 900 người nói đã đăng ký và 100 danh tính giữ lại, nhưng chỉ bao gồm TitaNet và ReDimNet. Ở 4 giây với 4 embedding đăng ký, ReDimNet và TitaNet có EER gần như bằng nhau (0,82% và 0,84%) cùng độ chính xác top-1 closed-set 98,92% và 98,81%. ReDimNet giữ phân bố điểm thuận lợi hơn trong phép chẩn đoán này.

Kết quả này chỉ mang tính định hướng, không phải bằng chứng chính: cùng một nhóm người lạ được dùng để hiệu chỉnh FAR và đánh giá. Nó gợi ý ReDimNet vẫn cạnh tranh khi gallery mở rộng, nhưng không phải kết quả hold-out hay bảo đảm triển khai.

Hai kiểm tra hỗ trợ củng cố tính nhất quán mà không thay đổi kết luận chính. Tuy nhiên, độ chính xác nhất quán chưa chứng minh khả năng triển khai. Phần tiếp theo xem xét chi phí tính toán, giấy phép và các phép đo còn thiếu.

Đánh giá triển khai

Các phát hiện này đã đủ để chọn mô hình production chưa? Chưa. Độ chính xác chỉ là một phần của lựa chọn triển khai. Lần chạy hiện tại ghi nhận real-time factor (RTF) của embedding trên NVIDIA GeForce RTX 5090. Nhân RTF với đầu vào 4 giây cho thời gian embedding xấp xỉ dưới đây; số liệu không bao gồm tải mô hình, truyền âm thanh, chấm điểm gallery, mạng, xử lý đồng thời hay logic ứng dụng.

VRAM đỉnh, kích thước checkpoint, thời gian cold start, hiệu năng CPU production, thông lượng duy trì và cấu hình phần cứng chưa được đo trong lần công bố này. Vì vậy quyết định triển khai cần một benchmark riêng trên runtime và mức đồng thời mục tiêu; bảng này không xác định mô hình thắng cho production.

Các phép đo còn thiếu này không chỉ là ghi chú phụ; chúng xác định ranh giới của bằng chứng. Phần tiếp theo nêu rõ ranh giới đó.

Giới hạn

Nghiên cứu này chưa chứng minh điều gì? Nó chưa chứng minh độ bền vững ngoài âm thanh sạch và phần lớn chỉ có một phiên ghi. Dù cửa sổ đăng ký và probe không chồng lấn theo thời gian, 4.398 trong 4.469 danh tính—98,4%—chỉ có một bản ghi nguồn. Vì vậy kết quả có thể giữ lại đặc trưng của microphone, kênh, phòng, nền âm và phiên ghi, và không chứng minh độ bền vững khác phiên hay trong cuộc họp thực tế.

Kiểm thử người lạ hold-out chỉ có 25 danh tính và 250 probe cho mỗi điều kiện. Nghiên cứu không bao gồm lời nói chồng lấn, lỗi diarization, phòng nhiều nhiễu, mức đồng thời production hay độ trễ end-to-end. Kết luận hỗ trợ nghiên cứu mô hình và hiệu chỉnh, không phải thay thế production ngay lập tức.

Các giới hạn này quy định cách sử dụng kết quả. Phụ lục ghi lại cách tạo từng kết quả và lý do ba giao thức đánh giá có trọng lượng bằng chứng khác nhau.

Phụ lục phương pháp

Kết quả được tạo ra như thế nào và được giữ khả năng so sánh ra sao? Phụ lục này ghi lại nguồn gốc checkpoint, lấy mẫu xác định, cách tạo đăng ký, tìm kiếm hiệu chỉnh, ước lượng độ bất định và vai trò của từng giao thức.

Mô hình và nguồn gốc checkpoint

Cả 5 họ checkpoint công khai được đánh giá bằng cùng một bộ chấm điểm cosine:

TitaNet được đánh giá là checkpoint công khai nguyên bản; không được quy các kết quả này cho một checkpoint TitaNet đã fine-tune riêng.

Dữ liệu, lấy mẫu và đăng ký

Manifest đánh giá có 5.089 bản ghi từ 4.469 danh tính được gán nhãn: tiếng Anh 1.665/1.489 bản ghi/danh tính, tiếng Nhật 1.704/1.476, tiếng Hàn 438/438, tiếng Việt 425/209 và tiếng Trung 857/857. Đây là dữ liệu đánh giá gồm các bài nói một người, phỏng vấn dài và bản ghi kênh được tuyển chọn, bao gồm TED và các bộ sưu tập theo ngôn ngữ; không phải mô tả corpus huấn luyện của mô hình. Kiểm tra trùng lặp không tìm thấy bản ghi đánh giá công khai nào trong các corpus pretraining được tài liệu hóa của checkpoint đã đánh giá.

Với mỗi thời lượng, bộ thử lấy mẫu xác định các cửa sổ cố định 2, 4 hoặc 8 giây. Một danh tính đã biết đóng góp 4 cửa sổ đăng ký và 10 cửa sổ probe; một danh tính lạ đóng góp 10 cửa sổ probe. Các khoảng thời gian không chồng lấn. Âm thanh được đọc dưới dạng float32, trộn mono và resample về 16 kHz khi cần. Bộ thử không thêm VAD, khử nhiễu, chuẩn hóa độ lớn, augmentation hay diarization.

Mỗi embedding từ đoạn cắt được chuẩn hóa L2. Một, hai hoặc bốn vector đăng ký đầu tiên được lấy trung bình và chuẩn hóa lại để tạo centroid. Mỗi probe đã chuẩn hóa được so sánh với mọi centroid bằng cosine similarity. Hàm băm ổn định và seed 1337 đảm bảo mọi mô hình nhận cùng danh tính và kế hoạch cắt.

Chọn quy tắc và độ bất định

Ứng viên ngưỡng tương đồng là các phân vị thực nghiệm của điểm cosine cao nhất từ người lạ phát triển, tối đa 101 mức cách đều, cộng một giá trị cao hơn điểm lớn nhất. Ứng viên margin gồm 0 và tối đa 51 mức phân vị thực nghiệm của khoảng cách điểm hạng nhất–hạng nhì từ các danh tính đã biết và lạ trong tập phát triển.

Bộ thử chỉ giữ các quy tắc có FAR người lạ phát triển không quá 1% và chọn quy tắc có DIR phát triển cao nhất. Nếu hòa, ưu tiên FAR thấp hơn, rồi ngưỡng tương đồng thấp hơn, rồi margin thấp hơn. Quy tắc được áp dụng nguyên trạng cho người nói kiểm thử tách biệt danh tính. Độ bất định dùng 2.000 lần bootstrap theo cụm người nói, và 50 phép chia danh tính xác định kiểm tra độ ổn định.

Vị trí của từng nguồn bằng chứng

Benchmark sạch 150 người nói xác nhận sức mạnh cơ bản của mô hình và độ nhạy theo thời lượng/số mẫu đăng ký. Chẩn đoán 900 người nói kiểm tra khả năng mở rộng gallery cho TitaNet và ReDimNet nhưng dùng lại cùng nhóm người lạ để hiệu chỉnh và đánh giá, nên các chỉ số vận hành chỉ mang tính định hướng. Đánh giá 5 mô hình tách biệt danh tính chia riêng người lạ phát triển và kiểm thử, vì vậy là bằng chứng chính được báo cáo ở trên. Các giao thức trả lời những câu hỏi khác nhau và không thể thay thế lẫn nhau.