Welche Auswirkungen haben Agenten-Workloads auf die Infrastrukturplanung?

Bei der Infrastrukturplanung geht man im Allgemeinen von der Form der Nachfrage aus: Sie korreliert mit den Nutzern, sie schwankt im Laufe des Tages vorhersehbar und eine Anfrage kostet ungefähr das, was eine andere kostet.

Die Arbeitsbelastung der Agenten verstößt gegen alle drei Annahmen, und Teams entdecken dies in der Regel in dem Quartal, in dem die Prognose nicht mehr nützlich ist.

Die Nachfrage folgt dem Vertrauen, nicht der Mitarbeiterzahl

Die herkömmliche Kapazität skaliert mit der Anzahl der Personen, die ein System nutzen. Die Agentennutzung hängt davon ab, wie sehr ein Team den Agenten vertraut. Dabei handelt es sich um eine völlig andere Variable, die eher schrittweise als reibungslos verläuft.

Ein Team, das einem Agenten vertraut, führt es gelegentlich durch. Dasselbe Team leitet drei Monate später, nachdem es zugesehen hat, wie es funktioniert, eine ganze Kategorie von Arbeiten durch. An der Organisation hat sich nichts geändert. Die Belastung vervielfachte sich.

Aus diesem Grund ist die im ersten Monat angenehme Kapazität im sechsten Monat häufig knapp und eine auf Benutzerzahlen basierende Prognose wird in eine teure Richtung falsch sein.

Ein Lauf ist nicht eine Anfrage

Ein einzelner Agentenlauf kann den Abruf, mehrere Modellaufrufe, mehrere Toolaufrufe und einen Überprüfungsschritt umfassen. Der Unterschied zwischen einem einfachen Lauf und einem komplexen Lauf ist enorm und lässt sich nur schlecht durch Durchschnittswerte verbergen.

Bei der Planung auf der Grundlage der durchschnittlichen Kosten pro Lauf wird der Tail unterschätzt, und in diesem Tail werden die Budgets tatsächlich verbraucht. Ein kleiner Teil der Läufe macht routinemäßig einen großen Teil der Ausgaben aus.

Wiederholungsversuche sind der unsichtbare Multiplikator

Ein Agent, der teilweise ausfällt und neu startet, zahlt für den gesamten Lauf zweimal und führt zu einem Ergebnis. Sofern Erfolge und Wiederholungsversuche nicht separat gemessen werden, erscheint dies als höhere Durchschnittskosten und nicht als behebbarer Fehler.

In den meisten Bereitstellungen, die wir uns angesehen haben, stellen Wiederholungsversuche die größte adressierbare Verschwendung dar und sind auch am leichtesten zu übersehen, da keine sichtbaren Fehler auftreten.

Parallelität ist von Natur aus stoßartig

Die Agentenarbeit erfolgt in Schüben: Ein Batch-Job wird gestartet, ein Vorfall löst zwanzig parallele Untersuchungen aus, ein geplanter Lauf wird teamübergreifend gleichzeitig ausgelöst.

Die für den Durchschnitt ausgelegte Kapazität wird während der Bursts in die Warteschlange gestellt, und die Warteschlange auf einem interaktiven Agenten ist nicht von der Unterbrechung der Funktion zu unterscheiden.

Was Sie vor der Planung instrumentieren sollten

Kosten und Latenz pro Agent, nicht pro Arbeitsbereich. Wiederholungsversuche getrennt von Erfolgen. Perzentile statt Mittelwerte, da der Mittelwert einer stark ausgeprägten Verteilung keine nützliche Planungszahl ist. Die Schritte werden pro Lauf gezählt, sodass wandernde Agenten sichtbar sind, bevor das Budget sie auffängt.

Mit diesen vier wird eine Prognose möglich. Ohne sie ist die Kapazitätsplanung eine Extrapolation aus einer Zahl, die ihre eigene Varianz verbirgt.

Wo die Budgets passen

Leistungsschalterbudgets sind sowohl eine Kapazitätskontrolle als auch eine finanzielle. Ein fester Grenzwert pro Arbeitsbereich und Team mit einer Warnung bei Annäherung und einer Blockierung bei Erreichen begrenzt den schlimmsten Fall auf eine Weise, die ein monatlicher Bericht nicht kann.

Dies ist vor allem bei selbst gehosteten Bereitstellungen von Bedeutung, bei denen die Überschreitung der Kapazität nicht das Skalierungsproblem einer anderen Person darstellt.

Als nächstes

Auf den Seiten „KI-Beobachtbarkeit“ und „Token-Überwachung“ wird die Instrumentierung behandelt, und auf den Bereitstellungsseiten werden Überlegungen zu selbstgehosteten und Air-Gap-Kapazitäten behandelt.