Die Optimierungen, die sich lohnen, und die, die nur beeindruckend aussehen

Optimierungsarbeiten haben eine Anziehungskraft auf das technisch Interessante. Techniken auf Inferenzebene sind wirklich clever, gut dokumentiert und zufriedenstellend in der Implementierung.

Außerdem stehen sie bei den meisten Einsätzen irgendwo unter dem fünften Platz auf der Liste der Dinge, die helfen würden.

Die Reihenfolge, in der wir tatsächlich arbeiten würden

Entfernen Sie zunächst Arbeiten, die nicht erledigt werden müssen. Nicht verwendete Tooldefinitionen belegen bei jedem Aufruf den Kontext. Vor zwei Jahren wurden Eingabeaufforderungsabschnitte für einen Randfall hinzugefügt. Beim Abrufen werden zehn Passagen zurückgegeben, wo drei ausreichen würden. Das ist reine Verschwendung, und deren Beseitigung kostet nichts an Qualität, weil sie keinen Beitrag leistet.

Zweitens: Wiederholungsversuche beheben. Ein fehlgeschlagener und neu gestarteter Lauf zahlt doppelt für ein Ergebnis. Wiederholungsversuche stellen in der Regel die größte einzelne behebbare Ineffizienz dar und sind unsichtbar, sofern sie nicht unabhängig von den Erfolgen gemessen werden.

Drittens: Parallelisieren Sie, was sequentiell, aber unabhängig ist. Der meiste Agentencode führt Schritte nacheinander aus, weil er so gelesen wird, nicht weil es so sein muss.

Viertens: Passen Sie die Größe des Modells pro Schritt an. Klassifizierungs- und Extraktionsschritte erfordern selten Grenzfähigkeiten, und deren Ausführung ist ein dauerhafter Kostenfaktor ohne Nutzen.

Fünftens und erst jetzt Techniken auf Inferenzebene.

Warum die Reihenfolge wichtiger ist als die Techniken

Die ersten vier sind günstig, risikoarm und häufig groß. Die fünfte ist anspruchsvoll und ihre Wirkung hängt davon ab, wie viel Zeit Sie überhaupt als Schlussfolgerung verstrichen haben.

Wenn die Inferenz ein Drittel Ihrer Laufzeit ausmacht, entspricht eine Inferenzverbesserung von zwanzig Prozent einer Laufverbesserung von sieben Prozent. Das ist es wert, und es lohnt sich nicht, es zu tun, bevor es erneute Versuche gibt, die Sie einen Teil Ihres Datenverkehrs hundertprozentig kosten.

Messen Sie vor der Auswahl

Alles oben Genannte setzt voraus, dass Sie die Aufschlüsselung kennen. Bei den meisten Teams ist dies nicht der Fall, da die Standardinstrumentierung pro Lauf und nicht pro Schritt berichtet.

Die Messung pro Schritt ist die Voraussetzung für jede Entscheidung auf dieser Liste. Ohne sie ist die Optimierung Geschmackssache, und der Geschmack wählt zuverlässig die interessante Option aus.

Jede Optimierung ist eine Hypothese über die Qualität

Der Grund, warum wir auf einer Bewertung vor der Optimierung bestehen, besteht darin, dass alle diese Änderungen die Qualität beeinträchtigen können und die meisten Reduzierungen nicht sofort sichtbar sind.

Ein kleineres Modell auf einer Stufe, die, wie sich herausstellte, Leistungsfähigkeit erforderte. Eine gekürzte Eingabeaufforderung, die den Absatz entfernte, der einen echten Randfall behandelte. Weniger abgerufene Passagen, was in Ordnung ist, bis die Frage die vierte benötigt.

Die Bewertung jeder Änderung anhand zuvor definierter Kriterien ist der Unterschied zwischen einer Einsparung und einer Verschiebung. Das ist genau das, was der Optimierer tut, und deshalb weigert er sich, eine Änderung allein als Kostenverbesserung darzustellen.

Der glanzlose Schluss

Die Optimierungsarbeit mit dem höchsten Ertrag in den meisten Agentensystemen ist das Löschen von Dingen: ungenutzte Tools, angesammelter Eingabeaufforderungstext, unnötiger Abruf, Schritte, die nicht sequentiell hätten sein sollen.

Es ist nicht interessant, darüber zu schreiben, weshalb vermutlich so viel mehr über die Alternativen geschrieben wird.

Als nächstes

Die Seiten „Optimierer“ und „Tokenüberwachung“ behandeln die schrittweise Messung und die bewertungsgemessene Optimierung. Die AI Observability-Seiten behandeln die Instrumentierung innerhalb eines Laufs.