Le coût total de possession de l'IA n'est pas le numéro sur la facture

Demandez à un responsable de l'ingénierie combien coûtent ses agents et vous obtiendrez généralement un chiffre sur le tableau de bord d'un fournisseur. C'est un nombre réel. C’est aussi le moins intéressant disponible, car il répond à une question que personne ne se pose réellement.

La question n'est pas « qu'avons-nous dépensé en inférence le mois dernier ». Il s'agit de savoir « laquelle des choses que nous gérons vaut ce qu'elle coûte, et qui décide ». Cette question a une forme différente et une facture de fournisseur ne peut pas y répondre.

Quatre coûts qui n'apparaissent jamais comme élément de campagne

• Nouvelles tentatives. Un agent qui échoue à mi-chemin et recommence facture deux fois pour un résultat. Dans l’ensemble, cela est rarement minime et n’est presque jamais mesuré séparément du succès.
• Contexte que personne n’a coupé. Les invites grandissent de la même manière que les fichiers de configuration : quelqu'un ajoute un paragraphe pour corriger un cas limite et personne ne le supprime. Chaque exécution ultérieure paie pour ce paragraphe pour toujours.
• Des outils dont l’agent n’a jamais eu besoin. Une définition d'outil s'inscrit dans le contexte de chaque appel, qu'il soit utilisé ou non. Une douzaine d’outils inutilisés constituent une taxe permanente à chaque exécution.
• Agents orphelins. Quelqu'un l'a construit pour un projet. Le projet est terminé. L’agent ne l’a pas fait. Sans propriétaire par agent, rien dans le système ne le remarque.

Aucun de ces échecs n’est exotique. Ils sont le résultat normal d’une construction rapide, et ils s’aggravent tranquillement car aucun d’entre eux n’est assez grand pour déclencher une enquête.

Le problème de l'attribution vient en premier

Vous ne pouvez pas réduire un coût que vous ne pouvez pas attribuer. Cela semble évident et est systématiquement ignoré, car l'attribution est un travail ennuyeux et le tableau de bord affiche déjà un numéro.

Oran 3.1 a existé exactement pour cette raison. Il attribuait les dépenses par agent, les décomposait par utilisateur et par modèle, et les rapportait en devise plutôt qu'en jetons. Ce n’est pas une fonctionnalité que quiconque démontre bien. C’est ce qui rend possible toute conversation ultérieure, car cela transforme « l’IA coûte cher » en « cet agent coûte autant et produit ceci ».

En attendant que ce changement se produise, le contrôle des coûts reste une hypothèse avec un budget attaché.

Le reporting n’est pas un contrôle

Le deuxième problème est le timing. Un rapport mensuel vous informe d'un dépassement après qu'il s'est déjà produit, ce qui constitue un exercice comptable plutôt qu'un contrôle.

Les budgets coupe-circuit comblent cet écart : une limite par espace de travail et par équipe, un avertissement à l'approche de la limite, un blocage automatique lorsqu'elle est atteinte et une prévision pour le reste du cycle. La différence entre un avertissement et un blocage semble procédurale. Ce n'est pas. L’un d’eux est l’information, et l’autre est une décision qui est prise, que quelqu’un regarde ou non le tableau de bord un vendredi soir.

Le piège de l’optimisation pour le mauvais numéro

C'est ici que les équipes sont blessées. Une fois que les dépenses sont visibles, l’instinct est de les réduire, et les supprimer est facile : utilisez un modèle plus petit, raccourcissez l’invite, supprimez une étape de vérification. Les dépenses diminuent immédiatement et la qualité diminue légèrement plus tard, quelque part que personne ne mesure.

C'est pourquoi l'optimisation ne fonctionne que lorsqu'elle est mesurée par rapport à l'évaluation. Oran 3.4 réduit les coûts grâce à l'optimisation du modèle et des invites, à la réduction des outils et à la conversion des agents hybrides, et chacune de ces modifications est évaluée par rapport à vos propres évaluations avant d'être validée. Moins cher n'est moins cher que si la sortie réussit toujours les contrôles que vous avez définis. Sinon, vous n'avez pas économisé d'argent, vous avez reporté un coût dans un endroit où il sera plus cher à trouver.

Ce que nous mesurerions en premier

Si vous partez d’une facture fournisseur et rien d’autre, l’ordre qui a fonctionné pour les équipes que nous voyons est assez cohérent.

Attribuez les dépenses par agent avant toute autre chose. Donnez à chaque agent un propriétaire nommé. Établissez un budget qui bloque plutôt que prévient. Écrivez des évaluations pour votre agent le plus volumineux, même les plus grossiers. Alors seulement, commencez à optimiser et vérifiez chaque changement par rapport à ces évaluations.

Ce n'est pas une séquence rapide. C'est celui qui se termine par un chiffre que vous pouvez défendre lors d'une réunion de planification, qui est l'objectif réel.

Où aller ensuite

L'AI Spend Explorer détectera les dépenses excessives en quelques minutes si vous souhaitez un point de départ plutôt qu'un projet. Si vous voulez une vue d'ensemble, les pages du système d'orchestration d'agent couvrent l'attribution, les budgets, l'évaluation et l'optimisation comme un seul système plutôt que quatre outils.