Quel impact les charges de travail des agents sur la planification de l'infrastructure

La planification des infrastructures suppose généralement quelque chose quant à la forme de la demande : elle est en corrélation avec les utilisateurs, elle varie de manière prévisible au cours de la journée et une demande coûte à peu près ce que coûte une autre.

Les charges de travail des agents brisent les trois hypothèses, et les équipes ont tendance à le découvrir au cours du trimestre où les prévisions cessent d'être utiles.

La demande suit la confiance, pas les effectifs

La capacité traditionnelle évolue avec le nombre de personnes utilisant un système. L'utilisation des agents évolue en fonction de la confiance qu'une équipe leur accorde, ce qui est une variable totalement différente et évolue par étapes plutôt que de manière fluide.

Une équipe qui fait confiance à un agent l’exécute occasionnellement. La même équipe, trois mois plus tard, après l'avoir vu fonctionner, y fait transiter toute une catégorie d'œuvres. Rien n’a changé dans l’organisation. La charge s'est multipliée.

C’est pourquoi une capacité confortable au cours du premier mois est souvent limitée au cours du sixième mois, et pourquoi une prévision fondée sur le nombre d’utilisateurs sera erronée dans le sens d’un coût élevé.

Une exécution n'est pas une demande

Une exécution d'un seul agent peut impliquer une récupération, plusieurs appels de modèle, plusieurs appels d'outils et une étape de vérification. L’écart entre une analyse simple et une analyse complexe est énorme et les moyennes la masquent mal.

Planifier sur le coût moyen par exécution sous-estime la queue, et c'est là que les budgets sont réellement consommés. Une petite proportion de courses représente généralement une grande proportion des dépenses.

Les tentatives sont le multiplicateur invisible

Un agent qui échoue à mi-chemin et redémarre paie deux fois l’intégralité de l’exécution et produit un seul résultat. À moins que les réussites et les tentatives ne soient mesurées séparément, cela apparaît comme un coût moyen plus élevé plutôt que comme un échec réparable.

Dans la plupart des déploiements que nous avons examinés, les nouvelles tentatives constituent le gaspillage adressable le plus important, et elles sont également les plus faciles à manquer car aucune erreur visible.

La concurrence est par nature explosive

Le travail des agents arrive par rafales : un travail par lots démarre, un incident déclenche vingt enquêtes parallèles, une exécution planifiée se déclenche simultanément dans les équipes.

La capacité dimensionnée pour la moyenne sera mise en file d'attente pendant les rafales, et la mise en file d'attente sur un agent interactif est impossible à distinguer de la fonctionnalité en cours de panne.

Que faut-il instrumenter avant de planifier

Coût et latence par agent, et non par espace de travail. Nouvelles tentatives séparément des réussites. Des percentiles plutôt que des moyennes, car la moyenne d'une distribution à queue lourde n'est pas un nombre de planification utile. Les pas comptent par exécution, de sorte que les agents errants sont visibles avant que le budget ne les rattrape.

Avec ces quatre-là, une prévision devient possible. Sans eux, la planification des capacités est une extrapolation à partir d’un nombre qui dissimule sa propre variance.

Où les budgets s'adaptent

Les budgets de disjoncteurs sont autant un contrôle de capacité que financier. Une limite stricte par espace de travail et par équipe, avec un avertissement à l'approche et un blocage lorsqu'elle est atteinte, délimite le pire des cas d'une manière qu'un rapport mensuel ne peut pas faire.

Cela est particulièrement important dans les déploiements auto-hébergés, où le dépassement de capacité n'est pas un problème de mise à l'échelle pour quelqu'un d'autre.

Suivant

Les pages d'observabilité de l'IA et de surveillance des jetons couvrent l'instrumentation, et les pages de déploiement couvrent les considérations de capacité auto-hébergée et isolée.