La mayor parte de su conocimiento no es texto y su índice probablemente lo ignore.

Pregúntele a un ingeniero dónde está documentada la arquitectura del sistema y, a menudo, le indicarán un diagrama. Haga la misma pregunta a un sistema de recuperación y le devolverá el párrafo que dice "consulte el diagrama a continuación".

Esa brecha no es pequeña. En la mayoría de las organizaciones, una parte significativa del conocimiento real reside en imágenes, y el proceso estándar las trata como espacios entre párrafos.

¿Qué se hace posible?

Cuando las imágenes están incrustadas en el mismo espacio que el texto, una pregunta formulada con palabras puede recuperar una imagen. "Lo que habla con el servicio de pago" puede devolver el diagrama de arquitectura en lugar de la oración que lo presenta. Una descripción del incidente puede recuperar la captura de pantalla del error en lugar del título del ticket.

La parte útil no es la novedad. Es que el material del que realmente depende la gente deja de ser invisible para el sistema que se supone debe encontrar las cosas para ellos.

Tres modos de falla para los que vale la pena planificar

Imágenes decorativas. No todas las imágenes contienen información. Fotografías de archivo, logotipos y divisores de sección indexados junto con diagramas significativos añaden ruido a cada consulta. Un filtro, incluso uno tosco basado en la fuente o el contexto, se amortiza solo.

Texto dentro de imágenes. Las capturas de pantalla son en su mayoría texto que la incrustación visual maneja mal. Por lo general, estos requieren reconocimiento primero, por lo que el texto se convierte en texto con capacidad de búsqueda y la imagen se conserva como referencia.

Falta contexto. Un gráfico es mucho más recuperable cuando lleva su título, el título encima y el documento del que procede. Una imagen indexada sola es una imagen sin anclaje y su calidad de recuperación se ve afectada en consecuencia.

La procedencia importa más aquí, no menos.

Cuando un sistema devuelve un párrafo, una persona puede leerlo y juzgar. Cuando devuelve una imagen, el juicio depende completamente de saber de dónde vino la imagen y cuándo.

Un diagrama de arquitectura obsoleto recuperado con confianza es peor que ningún diagrama, porque parece autoritativo de una manera que la prosa no lo hace. Llevar el documento fuente, la fecha y la sección con cada imagen indexada es lo que lo mantiene seguro.

Evaluandolo

Se aplica la misma disciplina que en todas partes: crear un conjunto de preguntas reales cuya respuesta correcta sea una imagen y medir si esa imagen se recupera. Evaluar la recuperación multimodal leyendo la respuesta final combina dos capas y le enviará a ajustar la incorrecta.

Incluya los casos incómodos deliberadamente. El diagrama casi duplicado del año pasado. La captura de pantalla que es principalmente texto. La fotografía de una pizarra. Ahí es donde los sistemas se separan.

La dimensión del costo

Las imágenes no se pueden indexar ni poner en contexto de forma gratuita. Un cambio de recuperación que adjunta rutinariamente una imagen a cada respuesta es un cambio de costo y pertenece a la misma evaluación que la precisión. Lo más barato sólo es más barato si la calidad se mantiene, y lo más rico sólo es mejor si alguien está dispuesto a pagar por ello en cada llamada.

Siguiente

La documentación para desarrolladores cubre los mecanismos de incrustación y recuperación. Las páginas del Sistema de orquestación de agentes cubren las capas de evaluación y costos que mantienen un cambio como este mensurable en lugar de simplemente impresionante.