Un agente sólo puede ser tan bueno como lo que su corpus dejó fuera

Cuando un agente da una respuesta incorrecta, la investigación suele comenzar con la clasificación. ¿Se recuperó el pasaje correcto y dónde se encontraba?

Una sorprendente proporción de las veces la respuesta honesta es que no había un pasaje correcto. La información que el agente necesitaba no existe en forma escrita, o existe en un lugar nada indexado.

Por qué la ausencia produce confianza en lugar de silencio

Un sistema de recuperación solicita algo que no está allí y no devuelve nada. Devuelve lo más parecido, porque eso es lo que hace la clasificación.

Luego, el agente recibe material que es temáticamente adyacente y factualmente irrelevante, y produce una respuesta basada en él. El resultado tiene citas. Parece tener mejor soporte que una cobertura.

Ése es el peor modo de fracaso disponible: equivocado, confiado y aparentemente originado.

Dónde suelen estar los huecos

Conocimiento que vive en las personas. La excepción que siempre se hace para un cliente. La razón por la que un proceso tiene un paso que parece redundante. Nadie lo escribió porque todos lo sabían.

Conocimientos en formatos nada indexados. Imágenes, hojas de cálculo, grabaciones, diagramas, el disco compartido que nunca estuvo conectado.

Conocimiento que está desactualizado en lugar de faltar. Peor que la ausencia, porque se recupera bien y se equivoca. Una política reemplazada sin ningún marcador que lo indique será devuelta con confianza durante años.

Conocimiento que nadie puede ver. Correctamente restringido y la respuesta del agente está incompleta de una manera que el usuario no puede detectar.

Cómo encontrarlos antes que los usuarios

Cree un conjunto de evaluación a partir de preguntas que la gente realmente hace, no de preguntas que usted pueda responder. La tentación es escribir preguntas cuyas respuestas sabes que están en el corpus, lo que produce un conjunto que informa que todo está bien.

Luego mida una cosa separada de la precisión: para cada pregunta, ¿existe una fuente adecuada? Esto divide los fallos en "no encontrados" y "no presentes", que tienen soluciones completamente diferentes. Uno es un proyecto de indexación. El otro es un proyecto de escritura.

El resultado más valioso es la lista de lagunas.

Una auditoría honesta de lo que falta es más útil que otro ciclo de ajuste, y las organizaciones la subestiman constantemente.

Le indica qué documentar, qué conectar y qué retirar. También es la única manera de saber si su sistema de recuperación está cerca de su techo o no, lo que determina si vale la pena seguir afinando el tiempo.

Marcar la incertidumbre en lugar de suavizarla

Cuando no se pueda cerrar una brecha, el sistema debería indicarlo. Un agente que responde "No pude encontrar una fuente actual para esto" es más útil que uno que produce una respuesta fluida a partir de material adyacente, aunque parezca menos capaz.

Esta es una decisión de configuración y cultural. Los equipos que recompensan la confianza aparente obtienen sistemas seguros y los colocan en los lugares donde la confianza está menos justificada.

Por qué esto pertenece a Yaju Labs

Nuestra investigación trata sobre cómo las organizaciones crean, utilizan, gestionan y mejoran los agentes, y las brechas del corpus se sitúan directamente en la mitad de la mejora. Ningún cambio de modelo soluciona una ausencia, lo que la convierte exactamente en el tipo de problema operativo que recibe menos atención de la que merece.

Siguiente

Las páginas de Yaju Labs cubren el programa de investigación y la comunidad de desarrollo abierto es gratuita para unirse. La documentación para desarrolladores cubre la recuperación, la fragmentación y la procedencia.