Bei Dokumenten handelt es sich nicht um Text, und beim Parsen scheitern die meisten Abrufvorgänge stillschweigend

Retrieval-Projekte werden in der Regel von oben debuggt. Die Antwort war falsch, also wird die Eingabeaufforderung untersucht, dann das Modell und dann die Chunking-Strategie. Die Ebene, die fast nie untersucht wird, ist die erste: wie der Text tatsächlich aussah, nachdem er aus dem Dokument herauskam.

Unserer Erfahrung nach liegt dort ein überraschend großer Teil des Problems.

Was läuft zwischen einem Dokument und einer Zeichenfolge schief?

Lesereihenfolge. Ein zweispaltiges Layout kann abwechselnd Fragmente aus beiden Spalten extrahieren und so Sätze erzeugen, die einzeln grammatikalisch und insgesamt bedeutungslos sind.

Tische. Eine Tabelle trägt in ihrer Struktur eine Bedeutung. Auf eine Folge von Zellwerten reduziert, ist die Beziehung zwischen einer Zeilenbeschriftung und ihrer Abbildung verschwunden, und ein Agent, der nach der Abbildung gefragt wird, wird sie mit dem verknüpfen, was sich gerade in der Nähe befindet.

Kopf- und Fußzeilen sowie Seitenmöbel. Auf jeder Seite wiederholt, jedes Mal extrahiert, verwässern sie jeden Abschnitt, in dem sie landen, und können einen kurzen Abschnitt dominieren.

Fußnoten und Bildunterschriften. Aus einem bestimmten Grund unten dargestellt und häufig direkt in den Absatz eingefügt, den sie mit Anmerkungen versehen.

Gescannte Seiten. Manchmal gibt es überhaupt keine Textebene und die Extraktion ist eher stillschweigend leer als lautstark unterbrochen.

Der Grund dafür, dass es unbemerkt bleibt

Jedes davon erzeugt eine Ausgabe, die wie Text aussieht. Es gibt keinen Fehler, keine Ausnahme, keinen Grund zur Warnung. Die Pipeline meldet Erfolg, der Index wird erstellt und die Verschlechterung erscheint erst viel später als Agent, der bei einer Frageklasse aus unerklärlichen Gründen unzuverlässig ist.

Bis jemand nachforscht, ist der Parsing-Schritt drei Abstraktionsebenen entfernt und funktioniert seit Projektbeginn einwandfrei.

Was tun dagegen?

Lesen Sie Ihren eigenen extrahierten Text. Keine Auswahl der sauberen Dokumente, der umständlichen: der gescannte Vertrag, der Bericht mit der Querformattabelle, das Formular. Zehn Minuten Leseextraktionsausgabe verraten Ihnen mehr als eine Woche sofortige Anpassung.

Behalten Sie die Struktur dort bei, wo sie vorhanden ist. Überschriften, Tabellen und Abschnittsgrenzen sind die natürlichen Einheiten für das Chunking und sind nur verfügbar, wenn der Parser sie beibehalten hat.

Tragen Sie die Herkunft auf jedem Teil: dem Dokument, der Seite, dem Abschnitt. Wenn eine Antwort falsch ist, wird das Debuggen zu einer Suche und nicht zu einer Suche.

Gehen Sie bewusst mit gescannten Dokumenten um, statt zu hoffen. Eine Seite ohne Textebene muss erkannt werden, und die Erkennung erfordert eine eigene Qualitätsprüfung.

Wie es mit allem anderen zusammenhängt

Durch das Parsen wird eine Obergrenze festgelegt. Keine Abrufstrategie, kein Modell und keine Eingabeaufforderung können eine Tabelle wiederherstellen, deren Struktur bei der Extraktion zerstört wurde. Es ist am kostengünstigsten, diese Ebene zu reparieren und am teuersten zu ignorieren, da jede nachgelagerte Verbesserung an einer beschädigten Basislinie gemessen wird.

Aus diesem Grund sollten Evaluierungssets auch Ihre schwierigen und nicht Ihre repräsentativen Dokumente umfassen. Ein aus sauberen PDFs erstellter Satz meldet, dass alles in Ordnung ist, bis jemand nach dem gescannten PDF fragt.

Als nächstes

Die Parsing-Seiten behandeln unterstützte Formate und die Strukturerhaltung. In der Entwicklerdokumentation geht es um Chunking und Retrieval, die unmittelbar darüber liegende Ebene, die vollständig davon abhängt.