Le choix d'un modèle est une décision opérationnelle, pas une décision de référence

Il y a une séquence familière. Une équipe compare des modèles, en choisit un parmi les scores publiés, construit autour de celui-ci et découvre que l'agent se comporte de manière imprévisible d'une manière dont la comparaison n'a jamais fait surface. Alors ils essaient un autre modèle. Le comportement change ; ce n’est pas le cas de l’imprévisibilité.

Le diagnostic est généralement le même : le modèle n’a jamais été la variable qui comptait.

Ce que les benchmarks peuvent et ne peuvent pas vous dire

Un score publié vous indique les performances d'un modèle sur un ensemble fixe de problèmes dans des conditions choisies par quelqu'un d'autre. Il s'agit d'informations véritablement utiles sur les capacités en général, et presque inutiles en tant que prédiction sur votre travail spécifique.

Votre travail a un contexte qu’ils n’avaient pas. Vos documents, vos conventions, votre idée d'une réponse acceptable, votre tolérance à l'égard d'une mauvaise réponse confiante par rapport à une bonne réponse couverte. Un modèle qui obtient un score légèrement plus élevé dans l’abstrait peut facilement être le pire choix pour un flux de travail où l’échec prend une forme particulière.

Ce n’est pas un argument contre les critères de référence. C’est un argument contre le fait de les traiter comme un substitut à l’évaluation de votre propre travail.

Construire l’évaluation avant de choisir

Le conseil pratique n’est pas glamour : rassemblez trente à cinquante exemples réels du travail que vous avez réellement l’intention d’automatiser, avec un résultat que vous considérez comme correct. Cet ensemble vaut plus que n’importe quel tableau comparatif, pour trois raisons.

Il mesure ce qui vous tient à cœur. Il continue de le mesurer lorsque vous modifiez autre chose. Et cela rend le choix du modèle réversible, car échanger un modèle devient une expérience avec un résultat plutôt qu’une migration avec un espoir.

Les équipes qui construisent cet ensemble tôt ont tendance à prendre rapidement des décisions concernant les modèles et à cesser de les revoir. Les équipes qui l’ignorent reviennent indéfiniment sur la décision, car rien ne la règle jamais.

Pourquoi le même modèle se comporte différemment pour deux équipes

Presque tout autour du modèle est une variable. La stratégie de récupération détermine ce que le modèle voit. L'ensemble d'outils détermine ce qu'il peut tenter et la quantité de contexte qu'il contient avant de démarrer. L’invite accumule la gestion des cas extrêmes au fil des mois. La politique d'échec détermine si une réponse fragile est renvoyée ou conservée.

Modifiez l'un d'entre eux et le comportement change de manière mesurable, généralement plus que ne le ferait un échange de modèle. C'est pourquoi nous considérons le choix du modèle comme un paramètre à l'intérieur d'un système opérationnel plutôt que comme le fondement de celui-ci.

Là où le coût entre en jeu

La tarification modèle constitue le coût le plus visible et rarement le plus important. Les tentatives, le contexte surdimensionné et les définitions d'outils inutilisées en représentent généralement davantage, et aucun d'entre eux ne change lorsque vous changez de modèle.

C'est pourquoi l'Optimizer mesure le choix du modèle, la forme de l'invite et l'ensemble d'outils ensemble, par rapport à vos évaluations. Passer à un modèle moins cher n’est une économie que si la qualité répond à vos propres critères. Parfois c’est le cas, et les économies sont réelles. Sometimes it does not, and you have traded a visible cost for an invisible one.

Notre recommandation actuelle

Choisissez un modèle performant, créez votre ensemble d'évaluation, le coût de l'instrument par agent, puis consacrez votre attention à la récupération, aux outils, à la politique et à la révision. Revisitez le modèle lorsque vos évaluations vous le demandent, et non lorsqu'une nouvelle partition est publiée.

C'est une réponse moins excitante qu'un tableau comparatif. C'est celui qui a produit des systèmes stables dans les déploiements que nous avons observés.

Suivant

La page des versions couvre chaque génération du système d'orchestration d'agent Yaju et ce que chacune a ajouté. Les pages du système d'orchestration d'agent couvrent les couches d'évaluation et d'optimisation qui font du choix du modèle une décision réversible.