Ein Agent kann nur so gut sein wie das, was Ihr Korpus ausgelassen hat

Wenn ein Agent eine falsche Antwort gibt, beginnt die Untersuchung normalerweise mit der Rangfolge. Wurde die richtige Passage gefunden und wo befand sie sich?

Überraschend oft lautet die ehrliche Antwort, dass es keine richtige Passage gab. Die vom Agenten benötigten Informationen liegen nicht in schriftlicher Form vor oder sind an einer nicht indexierten Stelle vorhanden.

Warum Abwesenheit eher Zuversicht als Stille erzeugt

Ein Abfragesystem, das nach etwas fragt, das nicht vorhanden ist, gibt nichts zurück. Es gibt das nächstgelegene Ergebnis zurück, denn das ist es, was das Ranking bewirkt.

Der Agent erhält dann thematisch angrenzendes und sachlich irrelevantes Material und produziert eine darauf basierende Antwort. Die Ausgabe enthält Zitate. Es sieht besser gestützt aus als eine Hecke.

Das ist der schlimmste verfügbare Fehlermodus: falsch, zuversichtlich und scheinbar ursächlich.

Wo normalerweise die Lücken sind

Wissen, das im Menschen lebt. Die Ausnahme, die immer für einen Kunden gemacht wird. Der Grund dafür, dass ein Prozess über einen Schritt verfügt, der überflüssig erscheint. Niemand hat es aufgeschrieben, weil jeder es wusste.

Kenntnisse in Formaten, nichts indiziert. Bilder, Tabellenkalkulationen, Aufzeichnungen, Diagramme, das gemeinsame Laufwerk, das nie verbunden war.

Wissen, das veraltet ist und nicht fehlt. Schlimmer als Abwesenheit, weil es gut abruft und falsch ist. Eine abgelöste Police ohne entsprechenden Hinweis wird Ihnen jahrelang vertrauensvoll zurückerstattet.

Wissen, das niemand sehen darf. Korrekt eingeschränkt und die Antwort des Agenten ist in einer Weise unvollständig, die der Benutzer nicht erkennen kann.

So finden Sie sie, bevor es Benutzer tun

Erstellen Sie einen Bewertungssatz aus Fragen, die tatsächlich gestellt werden, und nicht aus Fragen, die Sie beantworten können. Die Versuchung besteht darin, Fragen zu schreiben, deren Antworten Sie im Korpus finden, wodurch ein Satz entsteht, der meldet, dass alles in Ordnung ist.

Dann messen Sie etwas anderes als die Genauigkeit: Existiert für jede Frage überhaupt eine adäquate Quelle? Dadurch werden Fehler in „nicht gefunden“ und „nicht vorhanden“ unterteilt, für die es völlig unterschiedliche Abhilfemaßnahmen gibt. Eines ist ein Indexierungsprojekt. Das andere ist ein Schreibprojekt.

Die wertvollste Ausgabe ist die Lückenliste

Eine ehrliche Prüfung dessen, was fehlt, ist nützlicher als ein weiterer Optimierungszyklus und wird von Unternehmen immer wieder unterschätzt.

Hier erfahren Sie, was Sie dokumentieren, was Sie verbinden und was Sie zurückziehen müssen. Nur so können Sie feststellen, ob sich Ihr Retrieval-System nahe an der Obergrenze befindet oder nicht. Dies entscheidet darüber, ob sich weitere Optimierungen lohnen.

Markieren Sie die Unsicherheit, anstatt sie zu glätten

Wenn eine Lücke nicht geschlossen werden kann, sollte das System dies mitteilen. Ein Agent, der antwortet: „Ich konnte hierfür keine aktuelle Quelle finden“, ist nützlicher als einer, der aus angrenzendem Material eine fließende Antwort liefert, auch wenn er als weniger leistungsfähig erscheint.

Dies ist eine Konfigurationsentscheidung und eine kulturelle. Teams, die scheinbares Vertrauen belohnen, erhalten sichere Systeme, und zwar dort, wo Vertrauen am wenigsten gerechtfertigt ist.

Warum das zu Yaju Labs gehört

Bei unserer Forschung geht es darum, wie Unternehmen Agenten erstellen, verwenden, verwalten und verbessern, und Korpuslücken liegen genau in der Verbesserungshälfte. Keine Modelländerung behebt eine Abwesenheit, was genau zu der Art von Betriebsproblemen führt, denen weniger Aufmerksamkeit geschenkt wird, als sie verdienen.

Als nächstes

Die Yaju Labs-Seiten decken das Forschungsprogramm ab und der Open Development Community ist der Beitritt kostenlos. Die Entwicklerdokumentation behandelt Abruf, Chunking und Herkunft.