Wenn ein größeres Modell die falsche Antwort ist

Ein Agent erzeugt eine schlechte Ausgabe. Jemand schlägt das größere Modell vor. Es ist der offensichtliche Schritt, er ist leicht zu rechtfertigen und in etwa der Hälfte der Fälle ändert er nichts außer der Rechnung.

Die Frage, die es wert ist, zuerst gestellt zu werden, ist, was für ein Misserfolg das war.

Vier Fehler, die identisch aussehen, es aber nicht sind

• Der Agent verfügte nicht über die Informationen. Der Abruf hat es übersehen, oder es war nie im Korpus. Ein größeres Modell liefert eine flüssigere Antwort, die auf derselben Abwesenheit basiert.
• Der Agent hatte die Informationen und zu viel mehr. Die relevante Passage war vorhanden, versunken in Lärm, den ein längeres Kontextfenster eher verschlimmert als verbessert.
• Dem Agenten wurde nicht gesagt, wie gut es aussieht. Ohne Kriterien ist die Ausgabequalität die Standardeinstellung des Modells, die unabhängig von der Größe von Lauf zu Lauf unterschiedlich ist.
• Der Agent hat etwas getan, was er nicht hätte tun dürfen. Dies ist ein Politikversagen, das sich in einem Kostüm der Fähigkeit ausbreitet.

Nur eines davon ist ein Fähigkeitsproblem. Die anderen drei überstehen ein Upgrade unbeschadet.

Wie man den Unterschied an einem Nachmittag erkennt

Nehmen Sie den fehlgeschlagenen Fall und prüfen Sie der Reihe nach: Wurde überhaupt die richtige Quelle abgerufen? wie viel irrelevantes Material dabei war; Gibt es ein schriftliches Kriterium dafür, dass diese Ausgabe fehlgeschlagen wäre? und war die Aktion innerhalb der Grenzen, die der Agent hätte haben sollen.

Wenn die Antwort auf die erste Frage „Nein“ lautet, korrigieren Sie den Abruf. Wenn der zweite Teil groß ist, befestigen Sie die Stücke mit Schneide- oder Trimmwerkzeugen. Wenn kein Kriterium vorhanden ist, schreiben Sie eines. Wenn die Grenze falsch war, handelt es sich um eine Governance-Änderung und nicht um eine Modelländerung.

Erst wenn alle vier ausgecheckt sind, ist das Modell die verbleibende Variable, und an diesem Punkt ist die Aktualisierung ein sinnvolles Experiment mit einer klaren Hypothese.

Warum der Reflex so stark ist

Denn ein Modell-Upgrade ist eine Entscheidung, die eine Person an einem Morgen treffen kann, und die Alternativen sind Projekte. Retrieval reparieren bedeutet, einen Korpus zu verstehen. Beim Schreiben von Kriterien muss vereinbart werden, was „gut“ bedeutet. Dabei handelt es sich um ein organisatorisches Gespräch, das als technisches Gespräch getarnt wird.

Das Upgrade wird nicht gewählt, da es wahrscheinlich funktioniert. Es wird ausgewählt, weil es verfügbar ist.

Die Kostenform

Bei einem größeren Modell ändert sich der Preis für jeden Anruf, den der Agent tätigt, für immer, einschließlich der Anrufe, die bereits funktioniert haben. Wenn es zehn Prozent der Fehler behebt, haben Sie für hundert Prozent des Datenverkehrs bezahlt, um ein Zehntel davon zu verbessern.

Genau dafür ist die bewertungsgetriebene Optimierung da. Wenn der Optimierer eine Änderung vorschlägt, wird diese anhand Ihrer eigenen Bewertungen gemessen. Die Frage lautet also nicht mehr „Fühlt sich das besser an?“, sondern lautet „Hat sich die Punktzahl verschoben und was hat das gekostet?“.

Die Fälle, in denen Kompetenz wirklich die Antwort ist

Es gibt sie, und sie haben eine erkennbare Form: langes mehrstufiges Denken, bei dem sich Zwischenfehler verdichten, Aufgaben mit ungewöhnlicher Struktur, die kleinere Modelle regelmäßig und nicht gelegentlich falsch handhaben, und Arbeiten, bei denen die richtige Antwort das gleichzeitige Einhalten mehrerer Einschränkungen erfordert.

Wenn sich Ihre Fehler dort konzentrieren und Ihre Abrufkriterien und Grenzen solide sind, können Sie mit Zuversicht ein Upgrade durchführen.

Als nächstes

Die Versionsseite behandelt jede Oran-Version und was sie hinzugefügt hat. Die Seiten zum Agent Orchestration System decken die Bewertungs- und Kostenebenen ab, die eine Modellentscheidung in eine messbare Entscheidung verwandeln.