La transcripción es un problema de entrada, no un problema de transcripción

Una transcripción con una excelente precisión de palabras puede resultar casi inútil para un agente, y la razón es más estructural que acústica.

Considere una reunión de una hora representada como un único bloque ininterrumpido de palabras correctas. Cada término es correcto. Nada indica quién habló, dónde terminó un tema, qué frase fue una decisión y quién fue alguien pensando en voz alta. Un agente al que se le pide que extraiga los elementos de acción tiene que reconstruir todo eso a partir de la prosa, y lo hará con confianza y con inventiva ocasional.

Lo que realmente necesita un agente

• Atribución del hablante. "Deberíamos posponer" significa algo diferente según quién lo haya dicho, y un agente no puede inferir autoridad únicamente a partir del texto.
• Límites de segmento. Los cambios de tema son donde pertenecen los límites de recuperación. Sin ellos, la hora completa es un fragmento y un fragmento no se puede buscar.
• Marcas de tiempo que sobreviven al procesamiento. Cuando un agente afirma que se tomó una decisión, la capacidad de saltar al momento en que se tomó es la diferencia entre un reclamo y una citación.
• Señalización de confianza. Un pasaje que al sistema le resultó difícil debería marcarse como tal en lugar de suavizarlo para convertirlo en un texto fluido que se lea como seguro.

Estos no son refinamientos además de la precisión. Son los que hacen que la precisión sea utilizable.

El fracaso que suaviza la confianza

El modo de falla que vemos con mayor frecuencia es un sistema que resuelve la ambigüedad de manera silenciosa. El audio no era claro y el resultado es una frase clara sin indicios de que fuera una suposición.

Posteriormente, un agente trata esa oración como trata cualquier otra oración, y una reconstrucción se convierte en un hecho en un resumen sobre el cual alguien actúa. El error no se originó en el agente y el agente no tenía forma de saberlo.

Una transcripción que marca su propia incertidumbre es menos agradable de leer y considerablemente más segura para construir sobre ella.

Dónde encaja esto en un sistema de agentes

La transcripción es el comienzo de una cadena: el audio se convierte en texto, el texto se convierte en fragmentos, los fragmentos se convierten en contexto recuperado, el contexto se convierte en una respuesta en la que alguien confía. Un defecto introducido en el primer paso es invisible en el último.

Es por eso que tratamos la calidad del expediente académico como parte del ciclo de evaluación en lugar de una decisión de adquisición separada. Si sus evaluaciones solo puntúan la respuesta final, un error de recuperación y un error de transcripción tendrán el mismo aspecto y pasará semanas ajustando la capa equivocada.

Consejos prácticos

Evalúe con su propio audio, no con una muestra limpia. Las grabaciones reales tienen diafonía, acentos, ruido de fondo y el vocabulario específico de su organización, y esas son exactamente las condiciones en las que los sistemas divergen.

Luego evalúe lo que realmente desea: no la tasa de error de palabras, sino si un agente que hizo una pregunta real sobre la grabación recupera el pasaje correcto y responde correctamente. Eso mide la cadena en lugar de un eslabón de ella.

Siguiente

Las páginas de transcripción cubren la cobertura del idioma y las opciones de implementación, incluida la ejecución dentro de su propia infraestructura donde las grabaciones no pueden salir de ella. Las páginas del Sistema de orquestación de agentes cubren la capa de evaluación que mantiene toda la cadena mensurable.