Wozu Sie sich durch eine Einbettung tatsächlich verpflichten

Die Wahl der Einbettung erfolgt frühzeitig, meist schnell und wird dann tragfähig. Sechs Monate später ist der Index gewachsen, mehrere Systeme fragen ihn ab und die Kosten für eine Änderung Ihrer Meinung sind keine Konfigurationsänderung mehr.

Dies ist kein Argument dafür, sich über die ursprüngliche Wahl den Kopf zu zerbrechen. Es ist ein Argument dafür, es so einzurichten, dass die Wahl kostengünstig noch einmal überdacht werden kann.

Was eigentlich eingesperrt ist

Die Vektoren selbst. Sie sind nur mit Vektoren vergleichbar, die von demselben Modell erstellt wurden. Eine Änderung bedeutet also, dass der gesamte Korpus neu eingebettet wird, anstatt ihn zu migrieren.

Die Dimensionalität, die die Speicher- und Abfragekosten bei Ihrer Korpusgröße bestimmt und über die man nur schwer nachdenken kann, bevor der Korpus groß ist.

Verhalten in Bezug auf Ihren spezifischen Wortschatz. Interne Produktnamen, Abkürzungen und Domänenbegriffe werden von verschiedenen Modellen unterschiedlich gehandhabt, und dies zeigt sich in der Abrufqualität, lange bevor jemand es mit der Einbettungsschicht verbindet.

Behalten Sie immer den Rohtext

Die nützlichste Angewohnheit ist unrühmlich: Speichern Sie den Originaltext neben dem Vektor mit seiner Herkunft.

Teams, die die Quelle verwerfen und nur Vektoren behalten, haben die erneute Einbettung zu einer Datenwiederherstellungsübung gemacht. Teams, die den Text behalten haben, können das gesamte Korpus als Batch-Job erneut einbetten, wann immer sie eine Alternative bewerten möchten, was bedeutet, dass die Entscheidung offen bleibt.

Dies kostet Speicherplatz, was günstig ist, und erkauft optionale Möglichkeiten, was nicht der Fall ist.

Bewerten Sie anhand Ihres Wortschatzes, nicht anhand eines Maßstabs

Allgemeine Benchmarks zeigen Ihnen, wie sich ein Modell in der allgemeinen Sprache verhält. Ihr Korpus ist nicht allgemein. Es enthält die Namen Ihrer Dienste, die Abkürzungen, die Ihre Teams in Tickets verwenden, und die Formulierungen, in denen Ihre Richtlinien verfasst sind.

Erstellen Sie eine Reihe echter Abfragen für Ihre eigenen Dokumente mit den Passagen, die diese beantworten sollen, und messen Sie den Abruf direkt. Dieser Satz ist für immer wiederverwendbar: Er bewertet das Einbettungsmodell, die Chunking-Strategie, den Reranker und alles andere, was Sie später ändern.

Es ist auch das Einzige, was „Wir sollten ein anderes Einbettungsmodell ausprobieren“ zu einer Frage mit Antwort und nicht zu einer Meinung mit Befürwortern macht.

Hybrid ist meist die pragmatische Antwort

Die semantische Suche findet Dinge, die in unterschiedlichen Worten dasselbe bedeuten. Die Stichwortsuche findet den genauen Fehlercode, den jemand eingefügt hat.

Die meisten realen Abfragesätze enthalten beide Arten, und Systeme, die die beiden kombinieren, übertreffen bei der gemischten Realität dessen, was die Leute tatsächlich fragen, beide allein. Dies ist keine hochentwickelte Technik und wird überraschend oft übersprungen, da die semantische Suche besser ist.

Die operative Sicht

Die Einbettung ist Teil einer Kette, die in einer Antwort endet, auf die jemand reagiert, und sie hat sowohl eine Qualitätsdimension als auch eine Kostendimension. Das erneute Einbetten eines großen Korpus ist ein echter Kostenfaktor; Das Tragen übergroßer Vektoren bei jeder Abfrage ist ein geringerer Aufwand, der auf unbestimmte Zeit wiederholt wird.

Beide gehören in die gleiche Bewertungsschleife wie das restliche Verhalten des Agenten, weshalb Bewertungen neben der Korrektheit auch Latenz und Kosten bewerten, anstatt sie als separate Probleme zu behandeln.

Als nächstes

Die Entwicklerdokumentation behandelt Einbettungs- und Abrufmechanismen. Die Seiten des Agent Orchestration Systems decken die Bewertungsebene ab, die dafür sorgt, dass Entscheidungen wie diese reversibel bleiben.