Reranking ist die günstigste Genauigkeit, die Sie wahrscheinlich nicht kaufen

Der Abruf in der ersten Stufe ist auf Geschwindigkeit ausgelegt. Es durchsucht schnell einen großen Index und gibt Kandidaten zurück, die wahrscheinlich relevant sind. In diesem Satz wird wahrscheinlich echte Arbeit geleistet.

Die Standardreaktion besteht darin, das Netz zu erweitern: mehr Passagen zurückzugeben und das Modell das Problem klären zu lassen. Das funktioniert in dem Sinne, dass sich die richtige Passage jetzt normalerweise irgendwo im Satz befindet, und es scheitert in zweierlei Hinsicht, die niemand misst.

Was eine Verbreiterung tatsächlich kostet

Jede weitere Passage belegt den Kontext bei jedem Aufruf, sodass die Kosten für die Problemumgehung dauerhaft sind und mit dem Datenverkehr skalieren.

Und das Modell muss das relevante Material im Rauschen lokalisieren. Models sind darin gut, aber nicht zuverlässig, insbesondere wenn eine plausibel erscheinende, irrelevante Passage über der richtigen steht. Das ist der Fehler, der zu einer sicheren Antwort führt, die auf dem falschen Absatz aufbaut.

Was ein Reranking-Schritt bewirkt

Ein Reranker betrachtet die Abfrage und jeden Kandidaten zusammen, anstatt vorberechnete Vektoren zu vergleichen. Es ist pro Element langsamer, weshalb es nicht den gesamten Index scannen kann, und ist viel besser bei der Beurteilung der Relevanz, weshalb es sich lohnt, eine Auswahlliste durchzugehen.

Das Muster ist: Zwanzig oder fünfzig Kandidaten kostengünstig abrufen, sie richtig einordnen und die ersten drei oder fünf behalten. Das Modell erhält gleichzeitig weniger Material und besseres Material.

Diese Kombination ist ungewöhnlich. Die meisten Qualitätsverbesserungen kosten Geld. Dadurch wird in der Regel der Kontext bei jedem Anruf reduziert und gleichzeitig der Anteil der Antworten erhöht, die auf der richtigen Quelle basieren.

So erfahren Sie, ob es sich für Sie lohnt

Messen Sie den Abruf getrennt von der Generierung. Nehmen Sie echte Fragen mit den richtigen Passagen und prüfen Sie, ob und an welcher Position die richtige Passage in der Menge vorkommt, die das Modell erhält.

Wenn die richtige Passage normalerweise gefunden wird, aber an fünfter oder achter Stelle steht, kann ein Reranker eine große Hilfe sein. Wenn es normalerweise überhaupt nicht abgerufen wird, liegt das Problem vorgelagert bei der Aufteilung oder Einbettung, und eine Neubewertung kann eine Abwesenheit nicht beheben.

Diese Unterscheidung erspart viel unnötige Mühe und es dauert einen Nachmittag, sie zu etablieren.

Wann sollte man es überspringen?

Kleine Korpora, bei denen die Suche in der ersten Stufe bereits die richtige Passage an erster Stelle einordnet. Latenzkritische Pfade, bei denen der zusätzliche Schritt nicht ins Budget passt. Abfragen, bei denen es sich im Wesentlichen um Suchvorgänge handelt, bei denen ein Metadatenfilter die Aufgabe kostengünstiger erledigt als jedes Ranking.

Ein Reranker ist ein guter Standard, kein universeller.

Wo es operativ sitzt

Das Hinzufügen einer Stufe verändert sowohl die Latenz als auch die Kosten, was bedeutet, dass sie in dieselbe Bewertungsschleife gehört wie alles andere. Evals in Oran bewerten Verhaltens-, Struktur-, Latenz- und Kostenkriterien aus genau diesem Grund gemeinsam: Eine Änderung, die die Genauigkeit verbessert und ein Latenzbudget sprengt, ist nicht automatisch eine Verbesserung, und dieser Kompromiss sollte sichtbar und nicht entdeckt werden.

Als nächstes

Die Reranking-Seiten behandeln die Mechaniken und Einsatzoptionen. Die Entwicklerdokumentation behandelt die Erstellung des Evaluierungssatzes, der Ihnen sagt, ob sich dies für Ihr Korpus lohnt.