대규모 화자 식별은 왜 어려운가? 5개 모델로 검증한 다국어 오픈셋 벤치마크

화자 식별 벤치마크는 흔히 작은 동일 오류율 차이와 모델 순위를 앞세웁니다. 이 연구는 프로브가 미등록 화자의 음성일 수 있는 오픈셋 시스템에서, 최상위 일치 결과의 유사도가 충분히 높고 다른 후보와 명확히 구분되어 수락할 수 있는지를 판단하는 운영 문제에 초점을 맞춥니다.

핵심 결론

4초 음성과 4개의 등록 예시가 주어지면 5개 모델의 성능 차이는 실질적으로 작아집니다. 2초에서는 ReDimNet-B6와 w2v-BERT-SV가 선두 그룹을 이룹니다. ReDimNet은 소형 체크포인트이면서 주요 홀드아웃 평가와 클린 음성 조건 및 대규모 갤러리 보조 검증에서 일관되게 강해, 연구 관점에서 가장 설득력 있는 종합 후보입니다. 그러나 프로덕션 모델 교체를 결정할 근거로는 아직 충분하지 않습니다.

가장 중요한 운영 결과는 거부 판단을 모델별로 보정해야 한다는 점입니다. 공통 코사인 임계값은 화자 구분 성능뿐 아니라 서로 다른 스케일의 임베딩 공간까지 비교하게 됩니다. 각 체크포인트에는 대표성 있는 개발용 화자만으로 선택한 유사도 임계값과 1위·2위 점수 차이 마진이 필요합니다.

이후 본문은 네 가지 질문에 순서대로 답합니다. 짧은 음성에서도 신뢰할 수 있는 모델은 무엇인가? 4초가 주어지면 모델 차이가 여전히 남는가? 미등록 화자는 어떻게 거부해야 하는가? 그리고 정확도·연산량·라이선스를 종합한 근거가 프로덕션 결정을 뒷받침하는가?

주요 홀드아웃 평가

어떤 근거에 가장 큰 비중을 두어야 할까요? 5개 모델을 모두 비교하면서 보정용 화자와 최종 테스트 화자를 분리한 오픈셋 평가가 주요 근거입니다. 언어별로 20개 신원을 갤러리에 남기고 10개를 완전히 제거합니다. 제거한 신원 중 5개로 유사도 임계값과 상위 두 점수의 마진을 선택하고, 나머지 5개에는 그 설정을 변경 없이 적용합니다. 이렇게 하면 100명 화자 갤러리, 개발용 미등록 신원 25개, 개발용과 분리된 테스트 미등록 신원 25개가 구성됩니다. 모든 모델에는 해시로 고정한 동일한 프로브 코호트를 사용합니다.

오픈셋 식별에는 등록된 화자 중 누가 가장 유사한지, 그리고 그 일치를 받아들일 만큼 확신할 수 있는지라는 두 판단이 결합됩니다. 본문은 동일 오류율(EER), 알려진 프로브를 올바르게 식별하고 수락한 비율인 검출·식별률(DIR), 미등록 화자에 대한 오수락률(FAR)을 보고합니다.

임계값과 마진은 개발용 미등록 화자 FAR 1% 이하 조건에서 개발 신원만으로 선택한 뒤 테스트 코호트에 변경 없이 적용합니다. 신뢰구간은 2,000회 화자 클러스터 부트스트랩으로 계산하고, 50개의 결정론적 신원 분할로 선택된 화자에 대한 민감도를 측정합니다. 이 분리 덕분에 홀드아웃 평가는 본 연구에서 가장 신뢰할 수 있는 오픈셋 근거입니다.

등록 임베딩 4개를 사용한 대표 분할 결과는 다음과 같습니다.

이 평가는 연구 전체에서 가장 강한 근거를 확립합니다. 다음 절에서는 이 근거를 운영 조건별로 나누어 짧은 음성, 4초 음성, 미등록 화자 거부에서 모델 선택이 무엇을 의미하는지 설명합니다.

운영 조건별 결과

위의 주요 결과 표는 세 가지 운영 질문에 답합니다. 각 하위 절에서는 안정적인 결론을 먼저 제시한 뒤 이를 뒷받침하는 점 추정치와 불확실성을 설명합니다.

2초만 있을 때 어떤 모델이 견고한가?

2초만 사용할 수 있을 때는 ReDimNet과 w2v-BERT가 선두 그룹입니다. 대표 분할에서는 ReDimNet의 DIR이 가장 높습니다. 화자 단위로 대응시킨 TitaNet과의 부트스트랩 비교에서 DIR 차이는 ReDimNet 11.0포인트(95% CI 7.4–15.2), w2v-BERT 8.4포인트(4.6–12.4), WeSpeaker 5.8포인트(2.2–9.6)입니다. 세 모델 모두 Holm 보정 후에도 유의하며 ECAPA의 1포인트 차이는 유의하지 않습니다.

안정성 분석은 이 점 추정치와 모순되는 것이 아니라 결론의 범위를 제한합니다. 50개의 결정론적 분할에서 DIR 중앙값은 w2v-BERT 92.8%, ReDimNet 92.0%이며 5~95번째 백분위수 범위가 크게 겹칩니다. 따라서 근거가 지지하는 것은 짧은 음성의 선두 두 모델이지 엄격한 1위부터 5위 순위가 아닙니다.

4초에서도 모델 선택이 중요한가?

현재 근거에서는 실질적으로 중요하지 않습니다. 4초에서는 TitaNet 대비 후보 모델의 운영상 차이가 보정 후 유의하지 않습니다. 구간이 겹치고 5개 모델 모두 포화에 가깝습니다. TitaNet의 관측 DIR 98.8%는 우월성을 입증하지 않으며 ReDimNet의 관측 FAR 0%도 미등록 화자 위험이 0이라는 뜻이 아닙니다. 테스트 미등록 프로브 250개에서 오수락이 0건이어도 정확 이항 95% 상한은 1.46%입니다. 4초가 확보되면 모델 순위보다 불확실성과 운영 위험이 더 중요합니다.

미등록 화자는 어떻게 거부해야 하는가?

공통 코사인 임계값이 아니라 모델별 보정을 사용해야 합니다. 선택된 유사도 임계값은 일치의 절대 강도를 제어하고, 1위·2위 마진은 모호한 일치를 거부합니다. 두 값 모두 최종 테스트용으로 남겨 둔 신원을 사용하지 않고 선택해야 합니다. 홀드아웃 결과는 이 규칙이 이전에 보지 못한 미등록 화자에게도 일반화됨을 보여 주지만, 작은 테스트 코호트 때문에 상당한 불확실성이 남습니다.

여기까지가 주요 홀드아웃 결론입니다. 이를 더 넓게 적용하기 전에 다음 절에서는 더 단순한 클린 음성 조건과 훨씬 큰 갤러리에서도 결론이 일관되는지 확인합니다.

보조 검증

주요 결과가 하나의 프로토콜에만 의존할까요? 두 보조 검증은 서로 다른 부분을 확인합니다. 클린 음성 벤치마크는 5개 모델의 기본 성능과 길이 민감도를, 900명 화자 진단은 TitaNet과 ReDimNet의 갤러리 확장 내성을 시험합니다. 어느 것도 주요 홀드아웃 평가를 대체하지 않습니다.

클린 음성 다국어 벤치마크

클린 음성에서는 5개 모델 모두 기본적으로 강한가요? 그렇습니다. 클린 음성 벤치마크는 언어별로 알려진 신원 30개와 미등록 신원 10개를 사용합니다. 주요 조건은 4초 프로브와 등록 임베딩 4개를 사용하는 균형 잡힌 150명 화자 갤러리입니다. 이는 모델의 기본 성능을 확인하는 보조 검증이며 미등록 화자 대응이나 실제 회의 적용 가능성을 평가하는 주요 결과가 아닙니다.

4초에서는 EER이 0.74%를 넘는 모델이 없고 모든 모델의 폐쇄형 세트 top-1 정확도가 99.5%를 넘습니다. ReDimNet의 EER이 가장 낮지만 전체 차이는 0.33퍼센트포인트에 불과합니다.

고정 임계값 0.5에서 미등록 화자 수락률은 39.6포인트 차이가 나며 한 임계값을 모델 간에 그대로 옮길 수 없음을 보여 줍니다. 4초 조건의 작은 EER 차이보다 음성 길이와 등록 수가 실용적으로 더 큰 영향을 줍니다. 등록 예시를 늘리면 대체로 개선되고, 2초에서는 차이가 더 명확하며, 4초부터 포화가 시작됩니다.

이 경향은 공개 결과와 일치하지만 재현 실험은 아닙니다. TitaNet 논문 은 정제된 VoxCeleb1 검증 프로토콜에서 0.68% EER을, ReDimNet 논문 은 VoxCeleb1-O Cleaned의 ReDimNet-B6 SF2-LM에서 0.40%를 보고합니다. 해당 시험은 음성, 길이, 신원, 점수 모집단, 과제 면에서 본 연구의 다국어 식별 갤러리와 다릅니다.

클린 음성 검증은 기본 성능을 확인하지만 갤러리 확장에 대한 내성은 보여 주지 않습니다. 다음 진단에서는 이 질문을 두 모델에 한해 살펴봅니다.

900명 화자 갤러리 진단

갤러리가 커져도 ReDimNet은 경쟁력을 유지할까요? 결과는 긍정적인 방향을 가리킵니다. 이 보조 진단은 같은 클린 음성 코퍼스를 등록 화자 900명과 미등록 화자 100명으로 확장하지만 TitaNet과 ReDimNet만 다룹니다. 4초 및 등록 임베딩 4개 조건에서 ReDimNet과 TitaNet의 EER은 각각 0.82%와 0.84%, 폐쇄형 세트 top-1 정확도는 98.92%와 98.81%로 거의 같습니다. 이 진단에서는 ReDimNet의 점수 분포가 더 유리합니다.

이 결과는 방향성을 제시하는 보조 근거이지 주요 근거가 아닙니다. FAR 보정과 평가에 동일한 미등록 화자 코호트를 사용했기 때문입니다. ReDimNet이 갤러리가 커져도 경쟁력을 유지할 가능성은 보여 주지만, 홀드아웃 결과나 배포 보장은 아닙니다.

두 보조 검증은 주요 결론을 바꾸지 않으면서 일관성을 강화합니다. 그러나 정확도의 일관성만으로 배포 가능성을 판단할 수는 없습니다. 다음 절에서는 연산량, 라이선스, 아직 측정되지 않은 항목을 살펴봅니다.

배포 평가

이 결과만으로 프로덕션 모델을 선택할 수 있을까요? 아직은 아닙니다. 정확도는 배포 선택의 한 부분일 뿐입니다. 이번 실행에서는 NVIDIA GeForce RTX 5090에서 임베딩 실시간 처리 계수(RTF)를 측정했습니다. RTF에 4초 입력 길이를 곱한 대략적인 임베딩 시간을 아래에 제시합니다. 모델 로딩, 오디오 전송, 갤러리 채점, 네트워크, 동시성, 애플리케이션 로직은 포함하지 않습니다.

최대 VRAM, 체크포인트 크기, 콜드 스타트 시간, CPU 프로덕션 성능, 지속 처리량, 하드웨어 용량은 이번 공개 실행에서 측정하지 않았습니다. 따라서 배포 결정에는 목표 런타임과 동시성 프로필에서 별도 벤치마크가 필요하며, 이 표는 배포 모델의 승자를 정하지 않습니다.

이 미측정 항목들은 부수적인 주의사항이 아니라 근거의 경계를 정의합니다. 다음 절에서 그 경계를 명확히 합니다.

한계

이 연구가 입증하지 못하는 것은 무엇일까요? 클린 음성이면서 대부분 단일 세션으로 구성된 조건을 벗어났을 때의 견고성은 입증하지 못합니다. 등록 창과 프로브 창은 시간상 겹치지 않지만 4,469개 신원 중 4,398개(98.4%)는 원본 녹음이 하나뿐입니다. 따라서 마이크, 채널, 방, 배경, 세션 특성이 남아 있을 수 있으며 세션 간 또는 실제 회의에서의 견고성을 입증하지 못합니다.

홀드아웃 미등록 화자 테스트는 조건별로 신원 25개와 프로브 250개뿐입니다. 중첩 발화, 화자 분할 오류, 소음이 있는 방, 프로덕션 환경의 동시 처리, 엔드투엔드 지연은 다루지 않습니다. 결론은 모델과 보정 연구를 뒷받침하지만 즉각적인 프로덕션 교체 근거는 아닙니다.

이 한계는 결과를 사용할 수 있는 범위를 규정합니다. 부록에서는 각 결과가 어떻게 생성되었고 세 평가 프로토콜의 근거 수준이 왜 다른지 기록합니다.

방법론 부록

결과는 어떻게 만들어졌고 비교 가능성은 어떻게 유지했을까요? 이 부록은 체크포인트 출처, 결정론적 샘플링, 등록 구성, 보정 탐색, 불확실성 추정, 각 프로토콜의 역할을 문서화합니다.

모델과 체크포인트 출처

5개 공개 체크포인트 계열을 동일한 코사인 채점 하네스로 평가했습니다.

평가한 TitaNet은 공개 기본 체크포인트입니다. 이 결과를 별도로 미세 조정한 TitaNet 체크포인트에 귀속해서는 안 됩니다.

데이터, 샘플링, 등록

평가 매니페스트에는 4,469개 신원에서 수집한 녹음 5,089개가 포함됩니다. 언어별 녹음/신원 수는 영어 1,665/1,489, 일본어 1,704/1,476, 한국어 438/438, 베트남어 425/209, 중국어 857/857입니다. TED와 언어별 컬렉션을 포함한 엄선된 단일 화자 강연, 장시간 인터뷰 또는 채널 녹음으로 구성된 평가 데이터이며 모델의 학습 코퍼스를 설명하지 않습니다. 중복 감사에서는 공개 평가 녹음과 평가한 체크포인트의 문서화된 사전 학습 코퍼스 간 중복을 찾지 못했습니다.

하네스는 각 길이에서 고정된 2초, 4초, 8초 창을 결정론적으로 샘플링합니다. 알려진 신원은 등록 창 4개와 프로브 창 10개, 미등록 신원은 프로브 창 10개를 제공합니다. 시간 구간은 겹치지 않습니다. 오디오는 float32로 읽고 모노로 다운믹스하며 필요하면 16 kHz로 리샘플링합니다. VAD, 잡음 제거, 음량 정규화, 증강, 화자 분할은 추가하지 않습니다.

각 음성 구간의 임베딩을 L2 정규화합니다. 첫 1개, 2개 또는 4개의 등록 벡터를 평균하고 다시 정규화해 중심점을 만듭니다. 각 정규화된 프로브를 모든 중심점과 코사인 유사도로 비교합니다. 안정 해시와 시드 1337을 사용해 모든 모델에 같은 신원과 구간 추출 계획을 적용합니다.

규칙 선택과 불확실성

유사도 임계값 후보는 개발용 미등록 화자의 최상위 점수 경험적 분위수에서 최대 101개의 균등 수준을 사용하고 최대값보다 약간 큰 값 하나를 추가합니다. 마진 후보는 0과 개발용 알려진·미등록 화자의 1위-2위 점수 차이에 대한 경험적 분위수 최대 51개입니다.

하네스는 개발용 미등록 화자 FAR이 1% 이하인 규칙만 남기고 개발 DIR이 가장 높은 규칙을 선택합니다. 동률이면 FAR이 낮은 규칙, 다음으로 유사도 임계값이 낮은 규칙, 마진이 낮은 규칙을 우선합니다. 선택한 규칙은 신원이 분리된 테스트 화자에게 변경 없이 적용합니다. 불확실성에는 2,000회 화자 클러스터 부트스트랩을 사용하고 50개의 결정론적 신원 분할로 안정성을 확인합니다.

각 평가 근거의 역할

150명 화자 클린 음성 벤치마크는 모델의 기본 성능과 음성 길이·등록 수에 대한 민감도를 확인합니다. 900명 화자 진단은 TitaNet과 ReDimNet의 갤러리 확장을 시험하지만 보정과 평가에 동일한 미등록 화자 코호트를 사용하므로 운영 수치는 방향성만 제시합니다. 신원을 분리한 5개 모델 평가는 개발용과 테스트용 미등록 화자를 구분하므로 본문에서 보고하는 주요 근거입니다. 각 프로토콜은 서로 다른 질문에 답하며 서로 대체할 수 없습니다.

확장 부록: 실제 회의의 세션 간 예비 파일럿

클린 음성에서의 순위가 다른 세션에서 녹음된 실제 회의에서도 유지될까요? 이 소규모 파일럿은 초기 진단이며 새로운 벤치마크가 아닙니다. 화자 A–C는 세션 A의 화자별 2초 클립 3개로 등록했습니다. 세션 B는 등록 화자별 2초 알려진 프로브 5개(총 15개)와 등록에서 제외한 화자 D의 2초 프로브 3개를 제공했습니다. 갤러리 중심점은 정규화 전 등록 임베딩을 평균한 뒤 L2 정규화하여 코사인 점수를 계산했습니다.

등록 클립 9개와 프로브 18개를 합친 원본 레이블 27개는 모두 수동 청취 확인 전의 잠정 값입니다. 익명 문자 배정은 모든 모델에서 동일합니다.

알려진 프로브 하나의 오류가 전체 결과를 6.7%포인트 바꿉니다. 따라서 TitaNet-L이 WeSpeaker보다 클립 하나 앞선 결과만으로 안정적인 순위를 확립할 수 없습니다. 화자별 편차도 신원과 세션에 대한 민감도를 보여 줍니다. 모든 익명 화자에서 선두인 모델은 없습니다. 이 파일럿은 세션 간 평가의 필요성을 뒷받침하지만, 표본 크기와 원본 조건, 잠정 레이블이 달라 위의 대규모 클린 음성 벤치마크와 직접 비교할 수 없습니다.

화자 D의 값은 최고 일치 코사인을 보여 주는 참고 수치일 뿐입니다. 미등록 프로브가 3개이고 개발용 미등록 화자가 없으므로 보정된 수락 임계값이 없습니다. FAR, DIR, EER, 거부 정확도, 프로덕션 준비 상태 또는 모델 공통 임계값을 주장할 근거가 아닙니다.

잠정 레이블을 재검토해야 하는 이유

회의 레이블을 정답으로 취급하기 전에 별도의 진단에서 잠정 레이블이 지정된 6개 클립으로 만들 수 있는 중복 없는 15개 조합을 모두 채점했습니다. 잠정 레이블이 같은 쌍은 6개, 다른 쌍은 9개였으며 모든 모델이 동일한 쌍을 채점했습니다. 아래 분리 격차는 같은 레이블 쌍의 평균 코사인에서 다른 레이블 쌍의 평균 코사인을 뺀 값이므로, 레이블과 클립 경계가 신뢰할 수 있다면 양수가 예상됩니다.

예상 방향으로 분리한 모델은 TitaNet-L(+0.0879)과 WeSpeaker(+0.0501)뿐이었습니다. ECAPA-TDNN(-0.0293), w2v-BERT-SV(-0.0762), ReDimNet-B6(-0.1093)은 역전되었습니다. 그러나 이것이 세 모델의 성능이 더 낮다는 뜻은 아닙니다. 같은 레이블의 6개 쌍은 모두 하나의 잠정 화자에서 나왔고, 15번의 쌍별 비교는 동일한 6개 클립을 반복해서 사용합니다. 따라서 이 역전은 유효한 정확도 순위가 아니라 레이블과 경계를 검토해야 한다는 경고이며, 공개 전 수동 청취가 필요하다는 근거를 강화합니다.