Budgets de latence pour les agents et pourquoi personne n'en définit un

Demandez à une équipe combien devrait coûter son agent et vous obtiendrez un numéro. Demandez à quoi ressemble un bon résultat et vous obtiendrez généralement des critères. Demandez combien de temps cela est autorisé et vous obtiendrez une pause.

Cette pause est à l’origine de nombreuses frustrations ultérieures, car la latence n’est pas une propriété qui émerge. C'est le résultat de décisions prises pour d'autres raisons.

Chaque amélioration de la qualité coûte du temps

Récupérez plus de candidats et reclassez-les : une meilleure base, plus de temps. Ajoutez une étape de vérification : moins d’erreurs sûres, plus de temps. Donnez à l'agent un autre outil : plus de capacités, plus de contexte à traiter à chaque appel.

Aucun de ces éléments n’est faux. Ce sont des métiers, et un commerce fait sans budget d’un côté n’est pas un commerce, c’est une dérive. Les systèmes ralentissent, une décision raisonnable à la fois, jusqu'à ce que quelqu'un remarque qu'une chose qui était interactive ne l'est plus.

Où passe réellement le temps

Rarement là où les gens supposent. Dans les exécutions d'agents que nous avons examinées, la distribution est assez cohérente : une minorité dans l'inférence de modèle, une part substantielle dans la récupération et les appels d'outils, et une part étonnamment grande dans les étapes séquentielles qui auraient pu s'exécuter en parallèle mais ont été écrites sous forme de chaîne.

Le dernier d’entre eux est généralement le moins cher à corriger et le moins examiné, car il ressemble à du code correct plutôt qu’à un problème de performances.

Les tentatives sont l’autre consommateur silencieux. Un agent qui échoue et redémarre paie la latence entière deux fois pour un résultat, et les chiffres globaux la masquent à moins que les réussites et les tentatives ne soient mesurées séparément.

L'interactif et l'arrière-plan sont des produits différents

Un budget de latence n’a de sens que dans son contexte. Un agent qu'une personne attend dispose d'un budget mesuré en secondes, et le dépasser donne l'impression que la fonctionnalité est cassée, quelle que soit la qualité du résultat.

Un agent fonctionnant toute la nuit dans une file d'attente peut prendre vingt minutes et personne ne s'en soucie, ce qui signifie qu'il peut se permettre des étapes de vérification, une récupération plus large et des modèles plus lents qu'un agent interactif ne peut pas.

Les équipes qui classent leurs agents de cette manière prennent de bien meilleures décisions, car la même technique est correcte dans un contexte et mauvaise dans l’autre.

Intégrez-le à l’évaluation

C’est pourquoi les évaluations à Oran évaluent la latence en même temps que des critères comportementaux, structurels et de coûts plutôt que de la traiter comme une mesure opérationnelle lue séparément.

Un changement qui améliore la précision et double le temps de réponse n’est pas automatiquement une amélioration, et un système qui évalue uniquement l’exactitude le signalera comme telle. Noter les quatre ensemble oblige l’échange à être explicite au moment où il est effectué, ce qui est le seul point sur lequel il est peu coûteux de reconsidérer.

Un point de départ raisonnable

Notez le budget avant de construire, même grossièrement, et classez l'agent comme interactif ou en arrière-plan. Mesurez séparément la récupération, les appels d'outils et l'inférence afin que le budget puisse être attribué plutôt que simplement dépassé. Comptez les tentatives en dehors des réussites. Traitez ensuite une régression de latence de la même manière que vous traiteriez une régression de qualité, c'est-à-dire comme quelque chose qui échoue à un contrôle plutôt que comme quelque chose qui est remarqué lors d'une réunion.

Suivant

Les pages du système d'orchestration d'agent couvrent la couche d'évaluation et la façon dont le coût, la qualité et la latence sont évalués ensemble. Les pages d'observabilité couvrent l'endroit où le temps est passé au sein d'une exécution.