Die Gesamtkosten des KI-Besitzes entsprechen nicht der Zahl auf der Rechnung

Wenn Sie einen technischen Leiter fragen, was seine Agenten kosten, erhalten Sie in der Regel eine Nummer über ein Anbieter-Dashboard. Es ist eine reelle Zahl. Es ist auch das uninteressanteste verfügbare Buch, weil es eine Frage beantwortet, die eigentlich niemand stellt.

Die Frage lautet nicht: „Was haben wir letzten Monat für Schlussfolgerungen ausgegeben?“ Es gehe darum, „welches der Dinge, die wir betreiben, es wert ist, was es kostet, und wer entscheidet“. Diese Frage hat eine andere Form und eine Anbieterrechnung kann sie nicht beantworten.

Vier Kosten, die nie als Einzelposten erscheinen

• Wiederholungen. Ein Agent, der auf halbem Weg scheitert und von neuem anfängt, rechnet zweimal für ein Ergebnis ab. Insgesamt ist dies selten gering und wird fast nie getrennt vom Erfolg gemessen.
• Kontext, den niemand beschnitten hat. Eingabeaufforderungen wachsen mit der Größe von Konfigurationsdateien: Jemand fügt einen Absatz hinzu, um einen Grenzfall zu beheben, und niemand entfernt ihn. Bei jedem weiteren Durchlauf wird dieser Absatz für immer bezahlt.
• Werkzeuge, die der Agent nie brauchte. Eine Werkzeugdefinition steht im Kontext jedes einzelnen Aufrufs, unabhängig davon, ob er verwendet wird oder nicht. Ein Dutzend ungenutzter Werkzeuge sind bei jedem Lauf eine dauerhafte Belastung.
• Verwaiste Agenten. Jemand hat es für ein Projekt gebaut. Das Projekt endete. Der Agent tat dies nicht. Ohne einen Eigentümer pro Agent bemerkt das System nichts.

Keines davon sind exotische Fehlschläge. Sie sind das normale Ergebnis eines schnellen Aufbaus und verdichten sich im Stillen, weil keines von ihnen groß genug ist, um eine Untersuchung auszulösen.

Das Zuordnungsproblem steht an erster Stelle

Sie können keine Kosten reduzieren, die Sie nicht zuordnen können. Das klingt offensichtlich und wird regelmäßig übersprungen, da die Zuordnung eine langweilige Arbeit ist und das Dashboard bereits eine Zahl anzeigt.

Oran 3.1 existierte genau aus diesem Grund. Die Ausgaben wurden pro Agent zugeordnet, nach Benutzer und Modell aufgeschlüsselt und in Währung statt in Token angegeben. Das ist keine Funktion, die irgendjemand gut demonstriert. Es ist das, was jedes spätere Gespräch möglich macht, weil es „KI ist teuer“ in „Dieser Agent kostet so viel und produziert das“ umwandelt.

Bis dieser Wandel eintritt, ist die Kostenkontrolle ein Rätselraten mit einem Budget.

Berichterstattung ist keine Kontrolle

Das zweite Problem ist das Timing. Ein monatlicher Bericht informiert Sie über eine Überschreitung, nachdem sie bereits eingetreten ist. Dabei handelt es sich eher um eine Buchhaltung als um eine Kontrolle.

Leistungsschalterbudgets schließen diese Lücke: ein Limit pro Arbeitsbereich und pro Team, eine Warnung, wenn sich das Limit nähert, eine automatische Sperre, wenn es erreicht wird, und eine Prognose für den Rest des Zyklus. Der Unterschied zwischen einer Warnung und einer Sperre klingt verfahrenstechnisch. Das ist es nicht. Bei dem einen handelt es sich um Informationen, beim anderen um eine Entscheidung, die getroffen wird, ob an einem Freitagabend jemand auf das Dashboard schaut oder nicht.

Die Falle der Optimierung für die falsche Zahl

Hier werden Teams verletzt. Sobald die Ausgaben sichtbar sind, ist der Instinkt, sie zu reduzieren, und das ist einfach: Verwenden Sie ein kleineres Modell, kürzen Sie die Eingabeaufforderung, entfernen Sie einen Überprüfungsschritt. Die Ausgaben sinken sofort und die Qualität sinkt etwas später, irgendwo, wo niemand misst.

Deshalb funktioniert Optimierung nur, wenn sie an der Bewertung gemessen wird. Oran 3.4 reduziert die Kosten durch Modell- und Prompt-Optimierung, Tool-Trimmung und Hybrid-Agent-Konvertierung, und jede dieser Änderungen wird vor ihrer Gültigkeit anhand Ihrer eigenen Auswertungen bewertet. Billiger ist nur dann billiger, wenn die Ausgabe die von Ihnen definierten Prüfungen noch besteht. Andernfalls haben Sie kein Geld gespart, sondern die Kosten auf einen Ort verschoben, an dem es teurer ist, ihn zu finden.

Was wir zuerst messen würden

Wenn Sie von einer Anbieterrechnung und nichts anderem ausgehen, ist die Reihenfolge, die für die von uns gesehenen Teams funktioniert hat, ziemlich konsistent.

Ordnen Sie die Ausgaben pro Agent vor allem anderen zu. Geben Sie jedem Agenten einen benannten Eigentümer. Legen Sie ein Budget fest, das blockiert statt warnt. Schreiben Sie Bewertungen für Ihren Agenten mit dem höchsten Volumen, auch grobe. Beginnen Sie erst dann mit der Optimierung und vergleichen Sie jede Änderung anhand dieser Auswertungen.

Es ist keine schnelle Sequenz. Es endet mit einer Zahl, die Sie in einer Planungsbesprechung verteidigen können und die das eigentliche Ziel darstellt.

Wohin als nächstes?

Der AI Spend Explorer findet in wenigen Minuten Mehrausgaben, wenn Sie einen Ausgangspunkt statt eines Projekts suchen. Wenn Sie einen Gesamtüberblick wünschen, decken die Seiten zum Agent Orchestration System Attribution, Budgets, Bewertung und Optimierung als ein System statt vier Tools ab.