Erstellen eines Retrieval-Bewertungssatzes aus einem öffentlichen Korpus

Nahezu jede Verbesserung des Retrievals ist einfach umzusetzen und ohne Messung nicht zu rechtfertigen. Ändern Sie die Blockgröße und etwas passiert; Ob es eine Verbesserung war, ist unklar.

Das erste Stück Infrastruktur, das es wert ist, gebaut zu werden, ist also keine bessere Pipeline. Es handelt sich um eine Reihe von Fragen mit bekannten Antworten.

Warum mit einem öffentlichen Korpus beginnen?

Der Aufbau eines Bewertungssatzes aus internen Dokumenten stößt sofort auf zwei Hindernisse: Zugangsgenehmigung und Uneinigkeit darüber, was die richtige Antwort ist. Beide sind lösbar und keines ist schnell.

Ein großes öffentliches Referenzkorpus umgeht beides. Die Dokumente liegen vor, der Sachverhalt ist überprüfbar und niemand muss etwas genehmigen. Sie werten nicht Ihre eigenen Inhalte aus, was bedeutet, dass die Ergebnisse nicht direkt übertragen werden können, sondern der Sinn der Übung besteht darin, den Rahmen aufzubauen und zu lernen, ihn zu lesen.

Betrachten Sie es als Probe, nicht als Ersatz.

Was das Set braucht

Echte Fragen, so formuliert, wie die Leute sie tatsächlich formulieren, auch die kurzen und mehrdeutigen. Ein Satz, der vollständig aus wohlgeformten Abfragen besteht, schmeichelt jedem System.

Eine bekannte Zielpassage für jede Frage, sodass Sie die Trefferquote direkt messen können, anstatt sie aus der endgültigen Antwort abzuleiten.

Genügend Abwechslung, um Fehlermodi zu unterscheiden: Einige Fragen lassen sich anhand einer Passage beantworten, andere erfordern zwei, einige haben deren Antwort in einer Tabelle, einige, bei denen das offensichtliche Schlüsselwort an mehreren irrelevanten Stellen vorkommt.

Für den Anfang reichen 30 bis 50 Fragen. Präzision zählt weniger als überhaupt etwas zu haben.

Was zu messen ist

Ob die Zielpassage überhaupt abgerufen wurde und an welcher Position. Diese einzelne Zahl trennt die beiden Fehlerarten, die ansonsten identisch aussehen: Material, das nie gefunden wurde, und Material, das gefunden und vergraben wurde.

Der erste Schritt leitet Sie zum Chunking und Einbetten weiter. Der zweite Schritt leitet Sie zur Neubewertung weiter. Ohne diese Unterscheidung verbringen Teams routinemäßig Wochen damit, die bereits funktionierende Ebene zu optimieren.

Wechseln Sie dann zu Ihren eigenen Dokumenten

Sobald der Harness existiert und Sie seine Ausgabe lesen können, ist die Wiederherstellung des Satzes anhand interner Dokumente eine viel kleinere Aufgabe, da der schwierige Teil nie der Korpus war. Es ging darum zu wissen, was man aufzeichnen und was man vergleichen sollte.

Ihr eigenes Set wird sich anders verhalten, und das ist der Punkt. Internes Vokabular, inkonsistente Formatierungen, veraltete Versionen und Dokumente, die seit drei Jahren niemand geöffnet hat, sind genau die Bedingungen, die ein öffentliches Korpus nicht reproduziert.

Behalten Sie es und verwenden Sie es weiterhin

Ein Bewertungssatz ist keine einmalige Übung. Es ist das, was jede spätere Änderung messbar macht: ein neues Einbettungsmodell, eine andere Chunking-Strategie, ein Reranker, ein vom Optimierer vorgeschlagenes günstigeres Modell.

Aus diesem Grund werden Evaluierungen in Oran bei jeder Agentenausführung ausgeführt und nicht als regelmäßige Prüfung. Ein Set, das während eines Projekts einmal konsultiert wird, informiert Sie über dieses Projekt. Ein Satz, der kontinuierlich ausgeführt wird, teilt Ihnen mit, wenn etwas abweicht. Dies ist der Fehler, den ein Benutzer sonst finden würde.

Als nächstes

Die Entwicklerdokumentation behandelt die Abruf- und Reranking-Mechaniken. Auf den Seiten zum Agent Orchestration System wird erläutert, wie Bewertung, Kosten und Optimierung als eine Schleife und nicht als drei separate Aktivitäten funktionieren.