Führen Sie ein Reranking in Ihrer eigenen Cloud durch

Teams, die in Umgebungen arbeiten, in denen Daten nicht verloren gehen können, stehen immer wieder vor einem Dilemma hinsichtlich der Abrufqualität. Die Techniken, die am meisten helfen, sind diejenigen, die Komponenten hinzufügen, und jede zusätzliche Komponente ist etwas, das innerhalb der Grenzen bereitgestellt, überwacht und aktualisiert werden muss.

Reranking ist der klarste Fall. Dies ist in der Regel die größte verfügbare Einzelgenauigkeitsverbesserung und ein zusätzlicher Service.

Was Sie hinzufügen

Zwischen dem Abruf der ersten Stufe und dem Modell befindet sich eine Reranking-Phase. Es nimmt eine Auswahlliste von Kandidaten und ordnet sie neu, indem es jeden direkt anhand der Abfrage beurteilt, anstatt vorberechnete Vektoren zu vergleichen.

Aus betrieblicher Sicht handelt es sich hierbei um einen Dienst mit einem eigenen Ressourcenprofil: Er ist pro Element aufwändiger als die Vektorsuche und wird eher auf eine kleine Menge als auf einen gesamten Index angewendet. Es benötigt Kapazität, Überwachung und einen Upgrade-Pfad wie alles andere, was Sie ausführen.

Was Sie zurückbekommen

Zwei Dinge auf einmal, was ungewöhnlich ist.

Bessere Begründung, da die Passage, die die Frage beantwortet, ganz oben und nicht an der fünften Stelle ankommt.

Niedrigere Kontextkosten bei jedem Anruf, da Sie drei gute Passagen anstelle von zehn mittelmäßigen weitergeben können. Bei einer selbst gehosteten Bereitstellung, bei der Sie für Ihre eigene Rechenleistung bezahlen, gilt diese Reduzierung dauerhaft für jede einzelne Ausführung.

Der zweite Vorteil entscheidet normalerweise in eingeschränkten Umgebungen über die Entscheidung, da er die Kosten für die gerade hinzugefügte Komponente ausgleicht.

So entscheiden Sie vor der Bereitstellung

Messen Sie die Abholposition, bevor Sie etwas bauen. Beantworten Sie echte Fragen mit den richtigen Passagen und notieren Sie, ob die richtige Passage gefunden wird und wo sie eingeordnet wird.

Wenn es normalerweise abgerufen wird, aber einen niedrigen Rang hat, hilft eine Neubewertung erheblich und Sie können abschätzen, um wie viel, bevor Sie sich verpflichten.

Wenn es in der Regel überhaupt nicht abgerufen wird, kann ein Reranking nicht helfen. Das Problem liegt vorgelagert beim Chunking oder Einbetten, und das Hinzufügen einer Komponente kostet Kapazität und ändert nichts.

Diese Messung nimmt einen Nachmittag in Anspruch und verhindert, dass bei der Bergungsarbeit am häufigsten ein Viertel verschwendet wird.

Kapazitätsplanung

Die Reranking-Last ist proportional zum Abfragevolumen und nicht zur Korpusgröße, was die Prognose einfacher macht als der Index selbst. Die entscheidende Variable ist, wie viele Kandidaten Sie pro Abfrage neu bewerten.

Eine Neubewertung von fünfzig statt zwanzig Kandidaten kostet mehr und hilft weniger, als die meisten Teams erwarten. Messen Sie es, anstatt anzunehmen, dass mehr besser ist.

In Umgebungen mit Luftspalt

Die gleichen Überlegungen gelten mit einer Ergänzung: Modellaktualisierungen für den Reranker kommen wie alles andere als Artefakte in Ihren Zeitplan. Erstellen Sie zunächst Ihren Bewertungssatz, sodass die Annahme oder Ablehnung eines Updates eine wohlüberlegte Entscheidung und kein Sprung ist.

Wo es in die Bewertung passt

Durch das Hinzufügen einer Stufe ändern sich sowohl die Latenz als auch die Genauigkeit und die Kosten, und alle drei gehören in die gleiche Bewertung. Evals in Oran decken Verhaltens-, Struktur-, Latenz- und Kostenkriterien gleichzeitig ab, und zwar aus genau diesem Grund: Ein Genauigkeitsgewinn, der ein interaktives Latenzbudget sprengt, ist ein Handel, keine Verbesserung, und er sollte in dem Moment sichtbar sein, in dem er getätigt wird.

Als nächstes

Die Reranking- und Deployment-Seiten behandeln Mechanismen und selbst gehostete Optionen. Die Entwicklerdokumentation behandelt den Aufbau des Bewertungssatzes, der diese Entscheidung messbar macht.