Wohin die Agentenzeit eigentlich geht und warum es sich dabei selten um Schlussfolgerungen handelt

Aufführungsarbeit folgt der Aufmerksamkeit, und die Aufmerksamkeit richtet sich auf das Modell. Es ist die auffällige Komponente, es ist mit einem Preis pro Token verbunden und es ist das, worüber jeder liest.

Wenn Sie die Ausführung eines Agenten ordnungsgemäß instrumentieren, ist das Bild anders genug, um Ihre Arbeit zu ändern.

Die grobe Form

Bei den von uns betrachteten Läufen teilt sich die verstrichene Zeit ungefähr in vier Teile auf.

Modellinferenz, die real ist, aber normalerweise eine Minderheit darstellt.

Abruf, einschließlich dessen, was der Index tut, und was auch immer die Reranking-Phase tut, falls vorhanden.

Tool-Aufrufe, die außerhalb Ihres Systems erfolgen und daher der Latenz einer anderen Person unterliegen.

Sequentielle Struktur, d. h. die Zeit, die durch Schritte verloren geht, die nacheinander ausgeführt wurden und nicht ausgeführt werden mussten.

Die Anteile variieren je nach Arbeitsbelastung. Die Überraschung ist konsistent: Die letzten beiden sind normalerweise größer als von den Teams erwartet, und sie sind diejenigen, die niemand optimiert.

Sequentielle Struktur ist der günstigste Gewinn

Ein Agent, der einen Kalender abruft, dann überprüft, dann einen Datensatz nachschlägt und dann das Modell anruft, hat vier Latenzen hintereinander bezahlt. Häufig sind die ersten drei unabhängig voneinander und hätten gleichzeitig ausgeführt werden können.

Dies sieht eher nach korrektem Code als nach einem Leistungsproblem aus, weshalb es die Überprüfung übersteht. Es handelt sich in der Regel auch um die größte verfügbare Einzelverbesserung und erfordert keine Änderungen an Modellen, Eingabeaufforderungen oder der Infrastruktur.

Toolaufrufe sind das Problem von jemand anderem, was sie zu Ihrem eigenen macht

Ein Tool, das ein internes System erreicht, übernimmt das Verhalten dieses Systems, einschließlich seiner schlechten Nachmittage. Bei einem Agenten ohne Zeitüberschreitung bei einem Tool-Aufruf gibt es einen unbegrenzten Worst-Case, der irgendwann eintreten wird.

Zwei Dinge helfen. Zeitüberschreitungen mit einem definierten Fallback, sodass eine langsame Abhängigkeit die Ausführung beeinträchtigt, anstatt sie zum Stillstand zu bringen. Und die Tool-Latenz wird separat pro Tool gemessen, sodass die Latenz, die gelegentlich elf Sekunden dauert, sichtbar ist und nicht gemittelt wird.

Wiederholungsversuche kosten sowohl Zeit als auch Geld

Wir schreiben oft genug über Wiederholungsversuche unter Kostenaspekten. Sie sind in den meisten Systemen auch der größte Latenzmultiplikator, da ein fehlgeschlagener Lauf, der neu gestartet wird, die volle verstrichene Zeit zweimal für ein Ergebnis zahlt.

Jede Latenzzahl, die Erfolge bei Wiederholungsversuchen durchschnittlich darstellt, beschreibt etwas, das einem Benutzer nicht passiert.

Messen Sie Perzentile, nicht Mittelwerte

Die Dauer der Agentenausführung ist stark verzerrt. Ein kleiner Teil der Ausführungen dauert viel länger als der Rest, was in der Regel auf ein langsames Tool, einen Wiederholungsversuch oder einen Agenten zurückzuführen ist, der mehr Schritte als erwartet durchläuft.

Der Mittelwert dieser Verteilung ist eine Zahl, die keinen tatsächlichen Lauf beschreibt. Die hohen Perzentile sind das, was ein Benutzer an einem schlechten Tag erlebt, und ihnen sollte ein Latenzbudget gegenübergestellt werden.

Wo soll ich anfangen?

Instrumentieren Sie die vier Kategorien separat. Schauen Sie sich Perzentile an. Finden Sie die Schritte, die sequentiell und unabhängig sind. Legen Sie Timeouts für Tools fest. Zählen Sie Wiederholungsversuche außer Erfolgen.

Diese Arbeit ist unspektakulär und bringt in der Regel mehr hervor als ein Modellwechsel, und das ist das wiederkehrende Thema von fast allem, was wir schreiben.

Als nächstes

Die AI Observability-Seiten behandeln die Instrumentierung innerhalb eines Laufs. Auf den Seiten zum Agent Orchestration System wird die Bewertung behandelt, bei der die Latenz neben Kosten und Korrektheit bewertet und nicht separat betrachtet wird.