Quand un modèle plus grand n’est pas la bonne réponse

Un agent produit un mauvais résultat. Quelqu'un propose le modèle plus grand. C’est une démarche évidente, facile à justifier, et environ la moitié du temps, cela ne change rien à part la facture.

La première question qu’il convient de se poser est de savoir de quel type d’échec il s’agit.

Quatre échecs qui semblent identiques et ne le sont pas

• L'agent n'avait pas l'information. La récupération l'a manqué, ou il n'a jamais été dans le corpus. Un modèle plus grand produira une réponse plus fluide basée sur la même absence.
• L'agent avait l'information et bien d'autres choses encore. Le passage pertinent était présent, enfoui dans un bruit qu’une fenêtre contextuelle plus longue rend pire plutôt que meilleur.
• L’agent n’a pas été informé de ce à quoi ressemble le bien. Sans critères, la qualité de sortie est celle par défaut du modèle, qui varie d'une exécution à l'autre, quelle que soit la taille.
• L'agent a fait quelque chose qu'il n'aurait pas dû être autorisé à tenter. Il s’agit d’un échec politique revêtu d’un costume de capacité.

Un seul d’entre eux est un problème de capacité. Les trois autres survivent intacts à une mise à niveau.

Comment faire la différence en un après-midi

Prenez le cas défaillant et vérifiez, dans l'ordre : la source correcte a-t-elle été récupérée ; combien de matériel non pertinent l’accompagnait ; existe-t-il un critère écrit selon lequel cette sortie aurait échoué ; et c'était l'action à l'intérieur des limites que l'agent aurait dû avoir.

Si la réponse à la première question est non, corrigez la récupération. Si le second est grand, corrigez les outils de découpage ou de découpage. Si aucun critère n’existe, écrivez-en un. Si la limite était erronée, il s’agit d’un changement de gouvernance et non d’un changement de modèle.

Ce n'est que lorsque les quatre sont vérifiés que le modèle est la variable restante, et à ce stade, la mise à niveau est une expérience raisonnable avec une hypothèse claire.

Pourquoi le réflexe est si fort

Parce qu'une mise à niveau d'un modèle est une décision qu'une personne peut prendre en une matinée, et les alternatives sont des projets. Réparer la récupération signifie comprendre un corpus. Écrire des critères signifie se mettre d’accord sur ce que signifie le bien, ce qui est une conversation organisationnelle déguisée en conversation technique.

La mise à niveau n'est pas choisie car elle est susceptible de fonctionner. Il est choisi parce qu'il est disponible.

La forme des coûts

Un modèle plus large modifie pour toujours le prix de chaque appel effectué par l’agent, y compris les appels qui fonctionnaient déjà. S’il corrige dix pour cent des pannes, vous avez payé cent pour cent du trafic pour en améliorer un dixième.

C’est exactement à cela que sert l’optimisation basée sur l’évaluation. Lorsque l'Optimiseur propose un changement, celui-ci est mesuré par rapport à vos propres évaluations, de sorte que la question cesse d'être « est-ce que cela se sent mieux » et devient « est-ce que le score a changé et combien cela a-t-il coûté ».

Les cas où la capacité est véritablement la réponse

Ils existent et ont une forme reconnaissable : un long raisonnement en plusieurs étapes où les erreurs intermédiaires se cumulent, des tâches avec une structure inhabituelle que des modèles plus petits gèrent mal de manière cohérente plutôt qu'occasionnellement, et un travail où la bonne réponse nécessite de tenir plusieurs contraintes simultanément.

Si vos échecs y sont concentrés et que votre récupération, vos critères et vos limites sont solides, améliorez-vous en toute confiance.

Suivant

La page des versions couvre chaque version d'Oran et ce qu'elle a ajouté. Les pages du système d'orchestration d'agent couvrent les couches d'évaluation et de coûts qui transforment une décision de modèle en une décision mesurable.