Latenzbudgets für Agenten und warum niemand eines festlegt

Fragen Sie ein Team, was sein Agent kosten soll, und Sie erhalten eine Nummer. Fragen Sie, wie eine gute Ausgabe aussieht, und Sie erhalten in der Regel Kriterien. Fragen Sie, wie lange es dauern darf, und Sie erhalten eine Pause.

In dieser Pause entsteht viel spätere Frustration, denn Latenz ist keine Eigenschaft, die entsteht. Es ist das Ergebnis von Entscheidungen, die aus anderen Gründen getroffen wurden.

Jede Qualitätsverbesserung kostet Zeit

Rufen Sie mehr Kandidaten ab und ordnen Sie sie neu ein: bessere Grundlage, mehr Zeit. Fügen Sie einen Verifizierungsschritt hinzu: weniger sichere Fehler, mehr Zeit. Geben Sie dem Agenten ein weiteres Tool an die Hand: mehr Möglichkeiten, mehr Kontext, der bei jedem Anruf verarbeitet werden kann.

Nichts davon ist falsch. Es handelt sich um Trades, und ein Trade, der ohne Budget auf einer Seite getätigt wird, ist kein Trade, sondern ein Drift. Systeme werden eine vernünftige Entscheidung nach der anderen langsamer, bis jemand bemerkt, dass etwas, das früher interaktiv war, jetzt nicht mehr interaktiv ist.

Wo die Zeit eigentlich vergeht

Selten dort, wo die Leute vermuten. In den von uns betrachteten Agentenläufen ist die Verteilung ziemlich konsistent: eine Minderheit bei der Modellinferenz, ein erheblicher Anteil bei Abruf- und Toolaufrufen und ein überraschend großer Anteil bei sequenziellen Schritten, die parallel hätten laufen können, aber als Kette geschrieben wurden.

Letzteres ist in der Regel am kostengünstigsten zu beheben und wird am wenigsten untersucht, da es sich eher um korrekten Code als um ein Leistungsproblem handelt.

Wiederholungsversuche sind der andere stille Verbraucher. Ein Agent, der ausfällt und neu startet, zahlt die gesamte Latenzzeit zweimal für ein Ergebnis, und die Gesamtzahl verbirgt dies, es sei denn, Erfolge und Wiederholungsversuche werden separat gemessen.

Interaktiv und Hintergrund sind unterschiedliche Produkte

Ein Latenzbudget hat nur im Kontext eine Bedeutung. Ein Agent, auf den eine Person wartet, hat ein Budget, das in Sekunden gemessen wird, und wenn dieses überschritten wird, wirkt die Funktion unabhängig von der Ausgabequalität kaputt.

Ein Agent, der über Nacht in einer Warteschlange läuft, kann zwanzig Minuten brauchen, und niemand kümmert sich darum, was bedeutet, dass er sich Überprüfungsschritte, umfassendere Abrufe und langsamere Modelle leisten kann, als ein interaktiver Agent dies nicht kann.

Teams, die ihre Agenten auf diese Weise klassifizieren, treffen viel bessere Entscheidungen, da dieselbe Technik in einem Kontext richtig und in einem anderen falsch ist.

Machen Sie es zu einem Teil der Bewertung

Aus diesem Grund bewerten Evaluierungen in Oran die Latenz neben Verhaltens-, Struktur- und Kostenkriterien, anstatt sie als separat zu lesende Betriebsmetrik zu behandeln.

Eine Änderung, die die Genauigkeit verbessert und die Reaktionszeit verdoppelt, ist nicht automatisch eine Verbesserung, und ein System, das nur die Korrektheit bewertet, wird sie als solche melden. Wenn alle vier Punkte zusammen bewertet werden, muss der Handel in dem Moment explizit sein, in dem er getätigt wird, und das ist der einzige Punkt, an dem es günstig ist, ihn noch einmal zu überdenken.

Ein vernünftiger Ausgangspunkt

Notieren Sie das Budget vor der Erstellung, auch nur grob, und klassifizieren Sie den Agenten als interaktiv oder Hintergrund. Messen Sie Abruf, Toolaufrufe und Inferenz getrennt, sodass das Budget zugeordnet und nicht nur überschritten werden kann. Zählen Sie Wiederholungsversuche außer Erfolgen. Dann behandeln Sie eine Latenzregression so, wie Sie eine Qualitätsregression behandeln würden, d. h. als etwas, das eine Prüfung nicht besteht, und nicht als etwas, das in einer Besprechung bemerkt wird.

Als nächstes

Die Seiten zum Agent Orchestration System behandeln die Bewertungsebene und wie Kosten, Qualität und Latenz zusammen bewertet werden. Auf den Beobachtbarkeitsseiten wird beschrieben, wo die Zeit innerhalb eines Laufs verbracht wird.