VoicePing Diarization v0.1 es un modelo multilingüe de diarización de hablantes, evaluado en un benchmark de 42 archivos con NeMo, pyannoteAI precision-2, AssemblyAI y Deepgram.
Presentamos VoicePing Diarization v0.1
VoicePing Diarization v0.1 es nuestro primer lanzamiento público de un modelo de diarización: un modelo de segmentación de hablantes para reuniones multilingües, diseñado para identificar quién habló y cuándo antes de la coincidencia de identidad de hablantes en etapas posteriores.
Este artículo presenta el modelo mediante un benchmark multilingüe de 42 archivos realizado en julio de 2026. NeMo, pyannoteAI precision-2, AssemblyAI y Deepgram se incluyen como contexto de evaluación para que los lectores entiendan dónde se sitúa VoicePing Diarization v0.1 frente a opciones abiertas y comerciales conocidas de etiquetado de hablantes.
Una salvedad importa: VoicePing Diarization v0.1 es la identidad pública del modelo para la fila de benchmark elegida, no una revisión en vivo del registro de producción. La selección del modelo en producción se controla por configuración runtime, y producción también incluye coincidencia de identidad de hablantes downstream fuera de este benchmark solo de diarización.
Configuración de evaluación
El benchmark contiene 42 archivos y unas 10,5 horas de audio: cinco conjuntos monolingües en inglés, japonés, coreano, vietnamita y mandarín, además de dos archivos multilingües con code-switching. Los escenarios van de 30 segundos a 1 hora, con 2-9 hablantes y 0-30% de habla solapada.
Los archivos son conversaciones sintéticas unidas a partir de grabaciones reales de un solo hablante. Eso da etiquetas de referencia exactas y puntuación repetible, pero es más limpio que muchas reuniones reales. Los resultados deben tratarse como un benchmark controlado, no como reemplazo de una evaluación de reuniones fuera de dominio.
El conjunto de evaluación es intencionalmente más estrecho que la exportación interna sin procesar. NeMo se incluye como la principal baseline abierta local, usando el resultado NeMo Neural MSDD de los artefactos rerun. pyannoteAI precision-2 se incluye como el servicio comercial dedicado de diarización más claro. Deepgram y AssemblyAI se incluyen porque los compradores los comparan a menudo al evaluar transcripciones con atribución de hablantes, pero las celdas enmascaradas no se usan para ranking principal directo.
Detalles de metodología: el DER se puntuó como diarization error rate al estilo pyannote.metrics, con fair collar, solapamiento puntuado y agregación ponderada por tiempo del corpus. La exportación de investigación de julio de 2026 usó la fila VoicePing Diarization v0.1 del snapshot de Hugging Face voiceping-inc/titanet (titanet_finetuned.nemo), la baseline NeMo Neural MSDD, pyannoteAI precision-2 y salidas de etiquetas de hablante asociadas a transcript de AssemblyAI y Deepgram.
Resultados generales
| Sistema | Archivos | DER | Rol | RTF |
|---|---|---|---|---|
| VoicePing Diarization v0.1 | 42 | 4.01% | Modelo de diarización de VoicePing | 0.024 |
| NeMo | 42 | 6.64% | Baseline NeMo Neural MSDD | 0.020 |
| pyannoteAI precision-2 | 42 | 8.55% | API comercial dedicada de diarización | 0.028 |
| AssemblyAI | 42 | xx | Etiquetas de hablante asociadas a transcript | 0.049 |
| Deepgram | 41 | xx | Etiquetas de hablante asociadas a transcript | 0.006 |
El titular claro es simple: VoicePing Diarization v0.1 lidera el benchmark controlado, seguido por NeMo y luego pyannoteAI precision-2. La API dedicada de diarización sigue lo suficientemente cerca como para ser una comparación externa seria. Las filas asociadas a transcript quedan como contexto, mientras que la comparación central de precisión sigue siendo VoicePing Diarization v0.1, NeMo y pyannoteAI precision-2.
La vista de componentes incluye las cinco filas públicas. VoicePing Diarization v0.1, NeMo y pyannoteAI precision-2 muestran sus etiquetas DER principales junto a los segmentos de miss, false alarm y speaker-confusion. AssemblyAI y Deepgram aparecen como filas de contexto speaker-attributed transcript con segmentos proporcionales y etiquetas masked DER.
Resultados por idioma
| Idioma | VoicePing Diarization v0.1 | NeMo | pyannoteAI precision-2 | AssemblyAI | Deepgram |
|---|---|---|---|---|---|
| Inglés | 3.54% | 4.50% | 4.40% | 21.73% | 8.23% |
| Japonés | 3.79% | 7.30% | 10.87% | xx | 28.76% |
| Coreano | 4.08% | 10.86% | 11.21% | xx | xx |
| Vietnamita | 4.12% | 5.56% | 7.95% | xx | xx |
| Mandarín | 4.37% | 5.10% | 7.98% | 25.78% | 11.67% |
| Mixto, 5 idiomas | 3.50% | 7.53% | 16.54% | xx | xx |
| Mixto, 4 idiomas | 4.14% | 4.59% | 4.62% | xx | xx |
Por idioma, VoicePing Diarization v0.1 es la fila más fuerte en los siete grupos de idioma de esta tabla pública. NeMo sigue siendo una baseline abierta útil; esta fila usa NeMo Neural MSDD. pyannoteAI precision-2 es viable de manera constante en distintos idiomas, pero aquí queda detrás de VoicePing Diarization v0.1 en cada grupo.
Las filas de API cuentan otra historia. Deepgram y AssemblyAI son referencias útiles para transcripciones con atribución de hablantes, pero la tabla pública muestra por qué no deberían presentarse como reemplazos directos de diarización para timelines multilingües de hablantes.
Escenarios y aprendizajes de audio corto
La vista por escenario debe leerse segmento por segmento, no como un único promedio de toda la suite. VoicePing Diarization v0.1 es más fuerte en el grupo base de 5 minutos con 3.92% DER, se mantiene en valores medios de un dígito en audio de 2 minutos con 6.04%, audio de 5 minutos sin solapamiento con 5.93% y audio de 30 minutos con 7-9 hablantes con 5.57%, y luego sube en grupos de reunión más difíciles: 8.23% para 5 minutos con 30% de solapamiento, 8.69% para 5 minutos con 7-9 hablantes y 8.28% para audio de 60 minutos.
Para la planificación de producto, esto significa separar tres preguntas. Primero, ¿qué pipeline de diarización es más fuerte para reuniones completas? Segundo, ¿qué modelo de embeddings es robusto cuando cada hablante tiene poca voz? Tercero, ¿cómo se comporta la pipeline completa de producción después del refinamiento MSDD y la coincidencia de identidad de hablantes? Este post responde solo la primera parte en la capa de segmentación.
La velocidad sigue siendo favorable para los sistemas locales. La exportación full-suite PC-54 reporta VoicePing Diarization v0.1 en 0.024 RTF, cerca de NeMo en 0.020 RTF y pyannoteAI precision-2 en 0.028 RTF. Los tiempos de API incluyen comportamiento del proveedor y deben leerse como contexto operativo, no como benchmark normalizado por hardware. El gráfico de velocidad mantiene AssemblyAI y Deepgram como contexto API masked DER para que la comparación de tiempos siga enfocada en el contexto operativo.
APIs asociadas a transcript: útiles, pero distintas
Deepgram y AssemblyAI agregan etiquetas de hablante a la salida de transcripción. Eso es útil cuando el usuario necesita una transcripción atribuida a hablantes, pero no es lo mismo que diarizar toda la timeline de audio. Si el habla no se transcribe, o si la transcripción es inestable en un idioma, la timeline de hablantes hereda esa limitación.
AssemblyAI se comporta de forma más acústica que Deepgram, pero algunas filas siguen enmascaradas en la tabla pública. En este artículo, ambos proveedores permanecen en la metodología, la vista general y las vistas por idioma porque son referencias comunes en el recorrido de compra, no porque sean los competidores más fuertes de diarización.
Qué significa para VoicePing
Este artículo presenta el resultado de benchmark seleccionado de VoicePing como VoicePing Diarization v0.1. Eso mantiene la historia enfocada en la identidad del modelo de cara al cliente en vez de nombres internos de experimentos. VoicePing Diarization v0.1 lidera el benchmark, y la comparación seria a seguir es pyannoteAI precision-2.
Eso no reduce la importancia del diagnóstico interno continuo. La diarización en producción es solo una etapa: alineación de transcripción, segmentación de hablantes y luego coincidencia de identidad de hablantes contra voces conocidas del workspace. Esa última etapa convierte etiquetas anónimas en el mismo nombre de colega entre reuniones, algo que las APIs evaluadas no ofrecen. El siguiente seguimiento público debería evaluar la pipeline completa de producción, no solo esta fila aislada de segmentación.
Por eso el artículo evita publicar anécdotas inestables de clips cortos como ratios. Los archivos cortos pueden exponer modos de falla reales, pero necesitan una prueba de aceptación separada con suficientes ejemplos para evitar sobreajustar la historia a un solo escenario. La pregunta de producción no es solo si el segmentador gana en un corpus controlado; es si los usuarios ven de forma constante nombres correctos de hablantes, turnos estables y transcripciones útiles en reuniones en vivo, llamadas subidas y fragmentos cortos de voz.
Limitaciones y conclusión
La principal limitación es el conjunto de evaluación. Las conversaciones sintéticas dan referencias exactas, pero son más limpias que las reuniones reales y vienen de un dominio relacionado con nuestros datos de entrenamiento. La timeline también está cerca de habla continua de punta a punta, por lo que el comportamiento de false alarm no se estresa lo suficiente. Aún se necesita un conjunto real multi-hablante fuera de dominio, con grabaciones de solapamiento más difíciles, antes de hacer afirmaciones finales de producción.
Dentro de esos límites, la conclusión principal es: VoicePing Diarization v0.1 lidera el benchmark de 42 archivos, pyannoteAI precision-2 es la fila de API comercial dedicada que conviene vigilar, y los productos speaker-attributed transcript deben permanecer como referencias cualitativas donde haya celdas enmascaradas. El siguiente trabajo debería centrarse en identidad de modelo de producción, comportamiento de audio corto y un benchmark de pipeline de producción end-to-end.
