Kleine Modelle erledigen die meiste Arbeit in einem gut konzipierten System

Schauen Sie sich einen einzelnen Agentenlauf an und zählen Sie, was tatsächlich passiert. Entscheiden, in welche Kategorie eine Anfrage fällt. Extrahieren von drei Feldern aus einem Dokument. Beurteilen, ob eine abgerufene Passage relevant ist. Formatieren eines Ergebnisses. Auswählen, welches Tool als nächstes aufgerufen werden soll.

Dann der Argumentationsschritt, der normalerweise einer davon ist.

Auf den meisten Systemen läuft auf allen Systemen das gleiche große Modell, denn so wurde das System in der Phase aufgebaut, in der es das Ziel war, es überhaupt zum Laufen zu bringen.

Die Ökonomie einheitlicher Fähigkeiten

Ein großes Modell in einem Klassifizierungsschritt kostet ein Vielfaches dessen, was ein kleines Modell kosten würde, liefert die gleiche Antwort und das bei jedem einzelnen Durchlauf für immer.

Der individuelle Unterschied ist trivial, und genau deshalb bleibt er bestehen. Niemand bewertet einen Schritt, der funktioniert. Die Summe des Datenverkehrs über ein Jahr hinweg ist keineswegs trivial.

Wo kleine Modelle wirklich ausreichen

Einteilung in einen bekannten Satz von Kategorien. Extraktion strukturierter Felder aus halbstrukturiertem Text. Relevanzbeurteilung einer Auswahlliste. Neuformatierung. Kurze Zusammenfassung, bei der die Quelle bereits im Fokus steht.

Diese haben eine gemeinsame Eigenschaft: Der Ausgaberaum ist begrenzt. Wenn die richtige Antwort eine von fünf Kategorien oder ein Feld aus einem Dokument ist, bringt die über einen Schwellenwert hinausgehende Fähigkeit keinen Mehrwert, weil sie nirgendwo hingehen kann.

Wo es nicht der Fall ist

Mehrstufiges Denken, bei dem sich Zwischenfehler verschärfen. Aufgaben, die mehrere Einschränkungen gleichzeitig erfordern. Arbeiten Sie mit ungewöhnlichen Strukturen, mit denen kleinere Modelle regelmäßig und nicht gelegentlich falsch umgehen. Generation, in der Qualität wirklich ergebnisoffen ist.

Die Unterscheidung ist keine Aufgabenschwierigkeit im menschlichen Sinne. Es geht darum, ob der Ausgaberaum begrenzt ist.

Wie man es herausfindet statt zu raten

Instrument pro Schritt, nicht pro Lauf. Die meisten Systeme melden Kosten und Latenz für den gesamten Agenten, was einen kostspieligen Argumentationsschritt mit einem Dutzend trivialer Schritte durchschnittlich verrechnet und beides verbirgt.

Sobald Schritte sichtbar sind, erfolgt das Experiment direkt: Tauschen Sie einen Schritt gegen ein kleineres Modell aus und führen Sie Ihren Bewertungssatz erneut aus. Wenn die Werte halten, ist die Ersparnis real und dauerhaft. Wenn sie sinken, haben Sie etwas Besonderes über diesen Schritt und nicht über die Modellgröße im Allgemeinen gelernt.

Das ist genau das, was der Optimierer tut: Modell- und Prompt-Optimierung, Tool-Trimmung und Hybrid-Konvertierung, jeweils im Vergleich zu Ihren eigenen Auswertungen, bevor sie vorliegen.

Das Hybridmuster

Die Form, die dabei entsteht, ist ein kleines Modell, das die meisten Stufen bewältigt, ein größeres Modell die zwei oder drei, die es benötigen, und eine Routenentscheidung zwischen ihnen, die an sich günstig ist.

Teams erreichen dies durch Messung und nicht durch Design, was die richtige Reihenfolge ist. Wenn man ein Hybridsystem entwirft, bevor man weiß, welche Schritte Fähigkeiten erfordern, entsteht ein kompliziertes System, das für eine Vermutung optimiert ist.

Die Falle

Eine Kostensenkung ohne Bewertung ist keine Ersparnis, sondern eine Verschiebung. Ein billigerer Schritt, der geringfügig schlechter ist, führt weiter unten zu Ausfällen, und zwar an einem Ort, an dem die Diagnose teurer ist als das eingesparte Geld.

Aus diesem Grund sollte jede vorgeschlagene Optimierung anhand der Kriterien bewertet werden, die Sie vor Beginn der Optimierung festgelegt haben.

Als nächstes

Die Seiten „Optimierer“ und „Tokenüberwachung“ behandeln die Instrumentierung pro Schritt und die bewertungsgemessene Optimierung. Die Versionsseite behandelt jede Oran-Version und was sie hinzugefügt hat.