Les documents ne sont pas du texte et c'est lors de l'analyse que la plupart des récupérations échouent discrètement.

Les projets de récupération ont tendance à être débogués par le haut. La réponse était fausse, c'est pourquoi l'invite est examinée, puis le modèle, puis la stratégie de segmentation. La couche qui n’est presque jamais examinée est la première : à quoi ressemblait réellement le texte une fois sorti du document.

D’après notre expérience, c’est là que réside une part surprenante du problème.

Qu'est-ce qui ne va pas entre un document et une chaîne

Ordre de lecture. Une disposition à deux colonnes peut extraire en alternance des fragments des deux colonnes, produisant des phrases individuellement grammaticales et collectivement dénuées de sens.

Des tableaux. Un tableau est porteur de sens dans sa structure. Aplatie en une séquence de valeurs de cellule, la relation entre une étiquette de ligne et sa figure disparaît, et un agent interrogé sur la figure l'associera à tout ce qui se trouve à proximité.

En-têtes, pieds de page et mobilier de page. Répétés sur chaque page, extraits à chaque fois, ils diluent chaque morceau dans lequel ils atterrissent et peuvent en dominer un court.

Notes de bas de page et légendes. Rendu en bas pour une raison, et fréquemment intégré directement dans le paragraphe qu'ils annotent.

Pages numérisées. Parfois, il n'y a aucun calque de texte et l'extraction est silencieusement vide plutôt que bruyamment interrompue.

La raison pour laquelle ça passe inaperçu

Chacun d’entre eux produit une sortie qui ressemble à du texte. Il n’y a aucune erreur, aucune exception, rien à signaler. Le pipeline signale le succès, l'index se construit et la dégradation n'apparaît que beaucoup plus tard comme un agent inexplicablement peu fiable sur une classe de questions.

Au moment où quelqu'un enquête, l'étape d'analyse est à trois couches d'abstraction et fonctionne bien depuis le début du projet.

Que faire à ce sujet

Lisez votre propre texte extrait. Pas un échantillon des documents propres, des plus encombrants : le contrat numérisé, le rapport avec le tableau paysage, le formulaire. Dix minutes de sortie d'extraction de lecture vous indiquent plus d'une semaine d'ajustement rapide.

Préserver la structure là où elle existe. Les titres, les tableaux et les limites de section sont les unités naturelles pour le regroupement, et ils ne sont disponibles que si l'analyseur les a conservés.

Portez la provenance sur chaque morceau : le document, la page, la section. Lorsqu'une réponse est fausse, c'est ce qui transforme le débogage en une recherche plutôt qu'en une recherche.

Manipulez les documents numérisés délibérément plutôt que d’espérer. Une page sans couche de texte a besoin d'être reconnue, et la reconnaissance a besoin de son propre contrôle de qualité.

Comment il se connecte à tout le reste

L'analyse définit un plafond. Aucune stratégie de récupération, aucun modèle et aucune invite ne peuvent récupérer une table dont la structure a été détruite lors de l'extraction. Il s’agit de la couche la moins chère à corriger et la plus coûteuse à ignorer, car chaque amélioration en aval est mesurée par rapport à une base de référence corrompue.

C'est également pourquoi les ensembles d'évaluation devraient inclure vos documents difficiles plutôt que vos documents représentatifs. Un ensemble construit à partir de fichiers PDF vierges signalera que tout va bien jusqu'à ce que quelqu'un pose des questions sur celui numérisé.

Suivant

Les pages d'analyse couvrent les formats pris en charge et la préservation de la structure. La documentation du développeur couvre le regroupement et la récupération, qui constituent la couche immédiatement au-dessus de celle-ci et en dépendent entièrement.