Chunking ist die Abrufentscheidung, die jeder zufällig trifft

Zu Beginn jedes Retrieval-Projekts gibt es einen Moment, in dem jemand eine Zahl eintippt. Fünfhundert Token. Tausend. Was auch immer das Tutorial verwendet. Die Pipeline funktioniert, die Demo beantwortet Fragen und diese Zahl wird nie wieder untersucht.

Es verdient mehr Aufmerksamkeit als es bekommt, denn Chunking ist kein Vorverarbeitungsdetail. Es ist die Entscheidung, die darüber entscheidet, welche Fakten jemals zusammen abgerufen werden können, und keine noch so clevere Rangfolge im Nachhinein kann eine Beziehung wiederherstellen, die durch das Chunking zerstört wurde.

Was konkret schief geht

Zu kleine Brocken fragmentieren eine einzelne Idee in mehrere Teile. Die Antwort ist in Ihrem Korpus vorhanden, aber kein einzelner Teil enthält genug davon, um relevant zu wirken, sodass nichts gut abschneidet und der Agent stattdessen auf der Grundlage seiner eigenen Annahmen antwortet.

Zu große Brocken ziehen nicht verwandtes Material zusammen mit dem passenden Teil mit sich. Der Abruf scheint erfolgreich zu sein, das Kontextfenster füllt sich mit Rauschen und der Agent erzeugt etwas, das sich subtil mit dem falschen Absatz befasst. Dieser Fehler ist schlimmer als der erste, weil er eher zu einem sicheren Ergebnis als zu einer offensichtlichen Lücke führt.

Beide Misserfolge sehen von außen identisch aus: Der Agent gibt eine Antwort, die auf eine Weise falsch ist, die niemand sofort erklären kann.

Struktur schlägt Größe

Die nützlichste Änderung, die Teams unserer Meinung nach vornehmen, besteht darin, nicht mehr in Token-Zählungen zu denken, sondern stattdessen in der Dokumentstruktur zu denken.

Ein Richtliniendokument besteht aus Abschnitten. Ein Support-Archiv hat ein Problem pro Ticket. Eine API-Referenz hat einen Endpunkt pro Eintrag. Diese Grenzen wurden von einer Person aus dem gleichen Grund gesetzt, aus dem Sie sie brauchen: Sie markieren, wo eine Idee aufhört und eine andere beginnt. Die Aufteilung nach ihnen, mit einer Größenbeschränkung als Ersatz und nicht als Hauptregel, übertrifft durchweg die Aufteilung allein nach der Länge.

Wenn Dokumente keine verwendbare Struktur haben, ist Überlappung die kostengünstige Lösung. Das Übertragen eines oder zweier Sätze über die Grenze kostet Speicherplatz und sonst sehr wenig, und es rettet den speziellen Fall, in dem der Schlüsselsatz einen Token hinter einer Teilung landet.

Metadaten werden unterschätzt

Ein Chunk ist nicht nur Text. Es handelt sich um Text und alles, was Sie darüber wissen, woher er stammt: das Dokument, zu dem er gehört, die Abschnittsüberschrift darüber, das Datum, an dem er geschrieben wurde, das Team, dem er gehört, und ob er ersetzt wurde.

Diese Metadaten ermöglichen es einem Agenten, vor der Rangfolge zu filtern, was in der Regel einen größeren Genauigkeitsgewinn bedeutet als jede Einbettungsänderung. „Die aktuelle Version des Compliance-Handbuchs durchsuchen“ ist eine grundsätzlich einfachere Aufgabe als „Alles durchsuchen und hoffen, dass die aktuelle Version am besten abschneidet“.

Es gibt Ihnen auch eine Antwort auf die Frage, die jeder falschen Ausgabe folgt: Woher kommt das? Ein Block, der seine Herkunft trägt, verwandelt das Debuggen von der Archäologie in eine Suche.

Bewerten Sie es, streiten Sie nicht darüber

Chunking-Strategie ist die Art von Thema, die lange Meinungen und kurze Beweise hervorbringt. Der Ausweg ist derselbe wie überall in der Agentenarbeit: Schreiben Sie zuerst die Bewertung.

Stellen Sie dreißig oder vierzig echte Fragen zusammen, die die Leute Ihrem System tatsächlich stellen, und fügen Sie die Passage hinzu, die jede einzelne beantworten soll. Messen Sie dann, ob diese Passage überhaupt abgerufen wird. Nicht, ob sich die endgültige Antwort gut liest, was Abrufen und Generieren miteinander verbindet, sondern ob das richtige Material das Modell erreicht hat.

Damit wird Chunking eher zu einem Experiment als zu einer Debatte. Ändern Sie die Strategie, führen Sie den Satz erneut aus und behalten Sie die Version, die mehr abruft. Teams, die dieses System frühzeitig aufbauen, neigen dazu, auf Streitereien ganz zu verzichten, da es jetzt eine kostengünstige Möglichkeit gibt, sie beizulegen.

Wie dies mit laufenden Agenten zusammenhängt

Die Abrufqualität ist kein vom Agentenbetrieb getrenntes Anliegen. Eine Abrufänderung, die bei jedem Anruf zweihundert Token hinzufügt, ist eine Kostenänderung, und eine Abrufänderung, die den Rückruf verbessert, ist eine Qualitätsänderung. Beide gehören in die gleiche Bewertungsschleife wie alles andere, was der Agent tut.

Aus diesem Grund bewerten Auswertungen in Oran Verhaltens-, Struktur-, Latenz- und Kostenkriterien gemeinsam und der Optimierer misst seine eigenen Änderungen anhand derselben Auswertungen. Das Kürzen des Kontexts, um Geld zu sparen, ist nur dann eine Ersparnis, wenn der Abruf immer noch findet, was er braucht.

Wo soll ich anfangen?

Wenn Sie bereits ein Retrieval-System in der Produktion und keinen Evaluierungssatz haben, erstellen Sie zuerst den Evaluierungssatz, auch wenn es sich um einen Rohdatensatz handelt. An einem Nachmittag erfahren Sie mehr als in einem Monat Tuning. Die Entwicklerdokumentation behandelt die Mechanismen, und auf den Seiten zum Agent Orchestration System wird erläutert, wie die Bewertungs- und Kostenebenen dazu passen.