大规模说话人识别为何困难？五种模型的多语言开放集基准测试

说话人识别基准往往强调很小的等错误率差异和模型排名。本研究把重点放在开放集系统真正需要作出的判断上：当探测语音的说话人可能未被注册时，排名第一的匹配是否足够强且足够明确，能够被系统接受。

核心结论

当有4秒语音和4个注册样本时，五个模型的实际性能差异很小。在2秒条件下，ReDimNet-B6和w2v-BERT-SV构成领先组。ReDimNet的检查点规模较小，并且在主要留出评估以及干净条件和大图库辅助检验中都表现稳定，因此具有最强的综合研究依据。但这些证据仍不足以决定替换生产模型。

最重要的运营结论是，拒绝判定必须针对每个模型单独校准。统一的余弦阈值比较的不只是说话人区分能力，还会比较尺度不同的嵌入空间。每个检查点都需要使用有代表性的开发身份来选择相似度阈值，以及第一名与第二名的分数间隔（margin）。

下文将依次回答四个问题：语音很短时，哪些模型仍然可靠？有4秒语音时，模型差异是否仍然存在？应该如何拒绝未知说话人？综合准确率、计算量和许可证信息后，证据是否足以支持生产决策？

主要留出评估

哪一项证据应该占据最大权重？身份分离的开放集比较是主要证据，因为它在比较全部五个模型的同时，将校准说话人与最终测试说话人分开。每种语言保留20个身份在图库中，并完全移除10个身份。移除身份中的5个用于选择相似度阈值和前两名分数的margin，另外5个则在设置不变的情况下进行测试。由此得到100人图库、25个开发未知身份，以及与开发集身份分离的25个测试未知身份。所有模型使用由哈希固定的同一组探测语音。

开放集识别包含两个相互关联的判断：哪个注册说话人的相似度最高，以及该匹配是否足够可信、可以接受。本文报告等错误率（EER）、检测与识别率（DIR，即已知探测语音被正确识别且接受的比例），以及未知说话人的误接受率（FAR）。

阈值和margin仅使用开发身份进行选择，要求开发未知身份的FAR不高于1%，然后原样应用于测试群组。置信区间使用2,000次按说话人聚类的bootstrap，另用50个确定性身份划分来测量结果对所选说话人的敏感度。这样的分离使留出评估成为本研究最可信的开放集证据。

使用4个注册嵌入的代表性划分结果如下：

该评估确立了研究中最强的总体证据。下一节按运行条件拆解这些证据，分别说明短时语音、4秒语音和未知说话人拒绝下的模型选择。

按运行条件分析结果

上面的主要结果表回答三个运行问题。每个小节先给出稳定结论，再说明支撑它的点估计和不确定性。

只有2秒时，哪些模型仍然可靠？

只有2秒时，ReDimNet和w2v-BERT构成领先组。在代表性划分上，ReDimNet的DIR最高。以说话人为单位与TitaNet进行配对bootstrap比较，结果显示ReDimNet的DIR提高11.0个百分点（95% CI 7.4–15.2），w2v-BERT提高8.4个百分点（4.6–12.4），WeSpeaker提高5.8个百分点（2.2–9.6）。三者在Holm校正后仍显著；ECAPA的1个百分点提升不显著。

稳定性分析并不与该点估计矛盾，而是限定了结论范围。在50个确定性划分中，w2v-BERT的DIR中位数为92.8%，ReDimNet为92.0%，两者的第5至第95百分位范围大幅重叠。因此，证据支持的是短时语音下的两个领先模型，而不是可靠的第一至第五名严格排序。

有4秒时，模型选择仍然重要吗？

在当前证据下，实际意义已经不大。在4秒条件下，各候选模型相对于TitaNet的运营差异在校正后均不显著。区间相互重叠，五个模型都接近饱和。TitaNet观测到的98.8% DIR不能证明其更优，正如ReDimNet观测到的0% FAR也不能证明未知说话人风险为零。在250个测试未知探测语音中零误接受，对应的95%精确二项置信上限仍为1.46%。能够获得4秒语音时，不确定性和运营风险比模型排名更重要。

应该如何拒绝未知说话人？

应该使用针对模型的校准，而不是统一的余弦阈值。相似度阈值控制匹配的绝对强度，第一名/第二名margin则拒绝含糊的匹配。两者都必须在不使用最终测试身份的情况下选择。留出结果表明该规则能够泛化到未见过的未知说话人，但测试群组较小，仍存在较大不确定性。

以上是主要的留出结论。在更广泛地应用这些结论之前，下一节检验它们在更简单的干净语音基准和大得多的图库中是否仍然一致。

辅助检验

主要发现是否依赖单一协议？两项辅助检验分别回答不同部分。干净语音基准检验全部五个模型的基础能力和时长敏感度；900人图库诊断仅检验TitaNet与ReDimNet的图库扩展表现。两者都不能取代主要留出评估。

干净语音多语言基准

五个模型在干净语音上是否都具备较强基础能力？是的。干净语音基准每种语言使用30个已知身份和10个未知身份。主要条件是一个均衡的150人图库，使用4秒探测语音和4个注册嵌入。这是模型基础能力的辅助检验，不是未知说话人处理能力或真实会议适用性的主要结果。

在4秒条件下，没有模型的EER超过0.74%，所有模型的闭集top-1准确率都高于99.5%。ReDimNet的EER最低，但整体差距仅为0.33个百分点。

固定阈值0.5下未知说话人接受率相差39.6个百分点，说明同一阈值不能直接跨模型使用。与4秒条件下很小的EER差异相比，语音时长和注册样本数的实际影响更大：增加注册样本通常有帮助，2秒探测会暴露更明显的差异，而基准在4秒时开始趋于饱和。

这一趋势与公开结果方向一致，但并非复现实验。TitaNet论文 在清理后的VoxCeleb1验证协议上报告0.68% EER，ReDimNet论文 在VoxCeleb1-O Cleaned上对ReDimNet-B6 SF2-LM报告0.40%。这些试验在音频、时长、身份、评分样本和任务方面都不同于我们的多语言识别图库。

干净语音检验确认基础能力，但无法说明图库扩展时的稳定性。下一项诊断只在所覆盖的两个模型上考察这个更具体的问题。

900人图库诊断

图库扩大后，ReDimNet是否仍有竞争力？结果显示出肯定的趋势。该辅助诊断将同一干净语音源语料扩展到900个注册说话人和100个未知身份，但只覆盖TitaNet和ReDimNet。在4秒、4个注册嵌入条件下，ReDimNet与TitaNet的EER几乎相同（0.82%和0.84%），闭集top-1准确率分别为98.92%和98.81%。ReDimNet在该诊断下保持了更有利的分数分布。

这一结果只提供方向性辅助证据，并非主要证据：FAR校准和评估使用了同一未知身份群组。它表明ReDimNet在图库扩大时仍可能保持竞争力，但不是留出结果，也不是部署保证。

两项辅助检验在不改变主要结论的前提下增强了一致性证据。但准确率一致并不等于可以部署。下一节将考虑计算量、许可证和仍然缺失的测量。

部署评估

这些发现足以支持生产环境中的模型选型吗？还不够。准确率只是部署决策的一部分。本次运行记录了NVIDIA GeForce RTX 5090上的嵌入实时因子（RTF）。将RTF乘以4秒输入时长，得到下表中的近似嵌入时间；其中不包括模型加载、音频传输、图库评分、网络、并发或应用逻辑。

本次发布未测量峰值VRAM、检查点大小、冷启动时间、CPU生产性能、持续吞吐量和所需硬件规模。因此，部署决策需要在目标运行环境和并发配置下进行单独基准测试；该表不能确定最适合生产部署的模型。

这些缺失的测量并非附带说明，而是界定证据边界的关键。下一节明确说明这一边界。

局限性

本研究尚未证明什么？它没有证明模型在干净且大多来自单一会话的音频之外仍然稳健。虽然注册窗口与探测窗口在时间上不重叠，但4,469个身份中有4,398个（98.4%）只有一条源录音。因此，结果可能保留麦克风、通道、房间、背景和会话特征，不能证明跨会话或真实会议环境中的稳健性。

留出未知说话人测试每个条件只有25个身份和250个探测语音。研究不涵盖重叠语音、说话人分段错误、嘈杂房间、生产环境并发或端到端延迟。结论支持模型与校准研究，但不能作为立即替换生产模型的依据。

这些局限规定了结果的使用范围。附录记录每项结果的生成方式，以及三个评估协议为何具有不同的证据权重。

方法附录

结果是如何生成并保持可比性的？本附录记录检查点来源、确定性采样、注册构建、校准搜索、不确定性估计以及每个协议的作用。

模型与检查点来源

五个公开检查点系列均使用同一余弦评分框架进行评估：

本研究评估的TitaNet是公开原始检查点；这些结果不应归因于任何单独微调的TitaNet检查点。

数据、采样与注册

评估清单包含来自4,469个标注身份的5,089条录音：英语1,665/1,489条录音/身份，日语1,704/1,476，韩语438/438，越南语425/209，中文857/857。这些是经过筛选的单人演讲、长篇访谈或频道录音，包括TED和特定语言集合；它们是评估数据，不代表模型训练语料。重叠审计未在各评估检查点公开记录的预训练语料中发现本研究的公开评估录音。

对于每种时长，评估框架以确定性方式采样固定的2秒、4秒或8秒窗口。每个已知身份提供4个注册窗口和10个探测窗口；每个未知身份提供10个探测窗口。时间区间互不重叠。音频以float32读取，混合为单声道，并在需要时重采样为16 kHz。框架不增加VAD、降噪、响度归一化、数据增强或说话人分离。

每个截取片段的嵌入先进行L2归一化。取最前面的1个、2个或4个注册向量求平均，再次归一化得到质心。每个归一化探测向量都与所有质心计算余弦相似度。稳定哈希和随机种子1337确保所有模型使用相同身份和片段截取计划。

规则选择与不确定性

相似度阈值候选来自开发未知身份最高余弦分数的经验分位数，最多使用101个等间隔分位水平，并加入一个略高于最大分数的值。margin候选包括0，以及开发已知和未知身份第一名减第二名分数差的最多51个经验分位水平。

框架只保留开发未知身份FAR不高于1%的规则，并选择开发DIR最高的规则。如出现并列，则依次优先选择FAR更低、相似度阈值更低、margin更低的规则。所选规则原样应用于身份分离的测试说话人。不确定性使用2,000次按说话人聚类的bootstrap，并用50个确定性身份划分检验稳定性。

各项证据的作用

150人干净语音基准用于确认模型基础能力以及对时长和注册数量的敏感度。900人图库诊断检验TitaNet和ReDimNet在图库扩展时的表现，但校准和评估复用了同一未知身份群组，因此运营指标只具有方向性。身份分离的五模型评估将开发未知身份和测试未知身份分开，因此是本文报告的主要证据。这些协议回答不同问题，不能相互替代。

扩展附录：初步真实会议跨会话试验

干净音频中的排序能否延续到来自另一录制会话的真实会议音频？这项小规模试验只是初步诊断，不是新的基准。说话人A–C使用会话A中每人三个2秒片段完成注册。会话B为每位已注册说话人提供五个2秒已知探测片段（共15个），另提供未加入图库的说话人D的三个2秒探测片段。图库质心先对归一化前的注册嵌入取平均，再进行L2归一化并计算余弦分数。

全部27个源标签（9个注册片段和18个探测片段）均为暂定，仍待人工听辨确认。匿名字母映射在所有模型中保持一致。

一个已知探测片段的错误就会使整体结果变化6.7个百分点。因此，TitaNet-L仅比WeSpeaker多正确一个片段，并不能确立稳定的模型排序。分说话人的差异也表明结果对身份和会话敏感：没有一个模型在所有匿名说话人上都领先。这项试验说明了跨会话评估的必要性，但由于样本规模、来源条件和暂定标签不同，不能与上文规模更大的干净语音基准直接比较。

说话人D的数值仅描述最高匹配余弦。由于只有三个未知探测片段，且没有开发未知身份，因此不存在经过校准的接受阈值，也不能据此声称FAR、DIR、EER、拒绝准确率、生产部署就绪度或跨模型通用阈值。

为什么暂定标签仍需复核

在把会议标签视为真实标签之前，另一项诊断对6个带暂定标签的片段构成的全部15个不重复片段对进行了评分。其中6对使用相同暂定标签，9对使用不同标签；所有模型都对相同的片段对评分。下图的分离差值等于“同标签平均余弦－异标签平均余弦”，因此如果标签和片段边界可靠，预期应为正值。

只有TitaNet-L（+0.0879）和WeSpeaker（+0.0501）按预期方向分离。ECAPA-TDNN（-0.0293）、w2v-BERT-SV（-0.0762）和ReDimNet-B6（-0.1093）出现倒置。这并不能证明这三个模型更差：6个同标签片段对全部来自一个暂定身份，而15次成对比较重复使用了同一组6个片段。因此，倒置结果是需要复核标签和边界的警示，而不是有效的准确率排序，也进一步说明发布前必须完成人工听辨。