Los documentos no son texto, y el análisis es donde la mayor parte de la recuperación falla silenciosamente.

Los proyectos de recuperación tienden a depurarse desde arriba. La respuesta fue incorrecta, por lo que se examina el mensaje, luego el modelo y luego la estrategia de fragmentación. La capa que casi nunca se examina es la primera: cómo se veía realmente el texto después de salir del documento.

Según nuestra experiencia, ahí es donde reside una sorprendente parte del problema.

¿Qué sale mal entre un documento y una cadena?

Orden de lectura. Un diseño de dos columnas puede extraer fragmentos alternos de ambas columnas, produciendo oraciones que son individualmente gramaticales y colectivamente carecen de significado.

Mesas. Una mesa tiene significado en su estructura. Aplanada en una secuencia de valores de celda, la relación entre la etiqueta de una fila y su figura desaparece, y un agente al que se le pregunta sobre la figura la asociará con cualquier cosa que se encuentre cerca.

Cabeceras, pies de página y mobiliario de página. Repetidos en cada página, extraídos cada vez, diluyen cada fragmento en el que caen y pueden dominar uno corto.

Notas a pie de página y subtítulos. Se muestran en la parte inferior por una razón y, con frecuencia, se unen directamente al párrafo que comentan.

Páginas escaneadas. A veces no hay ninguna capa de texto y la extracción se vacía silenciosamente en lugar de interrumpirse ruidosamente.

La razón por la que pasa desapercibido

Cada uno de estos produce resultados que parecen texto. No hay ningún error, ni excepción, ni nada sobre lo que alertar. La tubería informa éxito, el índice aumenta y la degradación solo aparece mucho más tarde como un agente que es inexplicablemente poco confiable en una clase de pregunta.

Cuando alguien investiga, el paso de análisis está a tres capas de abstracción y ha estado funcionando bien desde que comenzó el proyecto.

¿Qué hacer al respecto?

Lea su propio texto extraído. Ni una muestra de los documentos limpios, de los incómodos: el contrato escaneado, el informe con la tabla apaisada, el formulario. Diez minutos de resultados de extracción de lectura le indican más de una semana de ajuste rápido.

Preservar la estructura donde existe. Los encabezados, las tablas y los límites de las secciones son las unidades naturales para la fragmentación y solo están disponibles si el analizador las conserva.

Lleve la procedencia de cada fragmento: el documento, la página, la sección. Cuando una respuesta es incorrecta, esto es lo que convierte la depuración en una búsqueda en lugar de una búsqueda.

Maneje los documentos escaneados deliberadamente en lugar de esperar. Una página sin capa de texto necesita reconocimiento, y el reconocimiento necesita su propio control de calidad.

Cómo se conecta con todo lo demás

El análisis establece un límite. Ninguna estrategia de recuperación, ningún modelo ni ningún mensaje pueden recuperar una tabla cuya estructura fue destruida durante la extracción. Es la capa más barata de reparar y la más costosa de ignorar, porque cada mejora posterior se mide con respecto a una línea de base corrupta.

Esta es también la razón por la que los conjuntos de evaluación deberían incluir sus documentos difíciles en lugar de los representativos. Un conjunto creado a partir de archivos PDF limpios informará que todo está bien hasta que alguien pregunte sobre el escaneado.

Siguiente

Las páginas de análisis cubren los formatos admitidos y la preservación de la estructura. La documentación del desarrollador cubre la fragmentación y la recuperación, que es la capa inmediatamente superior a esta y depende completamente de ella.