Elegir un modelo es una decisión operativa, no una decisión de referencia

Hay una secuencia familiar. Un equipo compara modelos, elige uno según las puntuaciones publicadas, construye a partir de él y descubre que el agente se comporta de manera impredecible en formas en las que la comparación nunca surgió. Entonces prueban con otro modelo. El comportamiento cambia; la imprevisibilidad no.

El diagnóstico suele ser el mismo: el modelo nunca fue la variable que importaba.

Qué pueden y no pueden decirte los puntos de referencia

Una puntuación publicada indica cómo se desempeñó un modelo en un conjunto fijo de problemas en condiciones que alguien más eligió. Esta es información realmente útil sobre la capacidad en general y casi inútil como predicción sobre su trabajo específico.

Tu trabajo tiene un contexto que ellos no tenían. Sus documentos, sus convenciones, su idea de una respuesta aceptable, su tolerancia a una respuesta equivocada segura frente a una respuesta correcta y segura. Un modelo que obtiene una puntuación marginalmente más alta en abstracto puede fácilmente ser la peor opción para un flujo de trabajo donde el fracaso tiene una forma particular.

Este no es un argumento en contra de los puntos de referencia. Es un argumento en contra de tratarlos como un sustituto de la evaluación de su propio trabajo.

Construya la evaluación antes de elegir.

El consejo práctico no es nada glamoroso: reúna entre treinta y cincuenta ejemplos reales del trabajo que realmente pretende automatizar, con el resultado que considere correcto. Ese conjunto vale más que cualquier tabla comparativa, por tres razones.

Mide lo que te importa. Sigue midiéndolo cuando cambias algo más. Y hace que la elección del modelo sea reversible, porque cambiar un modelo se convierte en un experimento con un resultado en lugar de una migración con una esperanza.

Los equipos que construyen este conjunto temprano tienden a tomar decisiones sobre modelos rápidamente y dejan de revisarlos. Los equipos que se saltan la decisión la revisan indefinidamente, porque nunca nada la resuelve.

Por qué el mismo modelo se comporta de manera diferente para dos equipos

Casi todo lo que rodea al modelo es una variable. La estrategia de recuperación determina lo que ve el modelo. El conjunto de herramientas determina lo que puede intentar y cuánto contexto conlleva antes de comenzar. El aviso acumula manejo de casos extremos durante meses. La política de fracaso determina si se devuelve o se retiene una respuesta inestable.

Cambie cualquiera de ellos y el comportamiento cambiará de manera mensurable, generalmente en más de lo que lo haría un cambio de modelo. Es por eso que tratamos la elección del modelo como un escenario dentro de un sistema operativo y no como su base.

Donde entra el costo

El precio del modelo es el costo más visible y rara vez el más grande. Los reintentos, el contexto sobredimensionado y las definiciones de herramientas no utilizadas habitualmente representan más, y ninguno de ellos cambia cuando se cambia de modelo.

Es por eso que el Optimizador mide la elección del modelo, la forma del mensaje y el conjunto de herramientas en conjunto, comparándolos con sus evaluaciones. Pasar a un modelo más económico sólo supone un ahorro si la calidad se ajusta a sus propios criterios. A veces es así y el ahorro es real. A veces no es así y has cambiado un coste visible por uno invisible.

Nuestra recomendación real

Elija un modelo capaz, cree su conjunto de evaluación, el costo del instrumento por agente y luego dedique su atención a la recuperación, las herramientas, las políticas y la revisión. Revise el modelo cuando sus evaluaciones se lo indiquen, no cuando se publique una nueva puntuación.

Ésta es una respuesta menos interesante que una tabla comparativa. Es el que ha producido sistemas estables en los despliegues que hemos observado.

Siguiente

La página de versiones cubre cada generación del sistema de orquestación de agentes Yaju y lo que agregó cada una. Las páginas del Sistema de orquestación de agentes cubren las capas de evaluación y optimización que hacen que la elección del modelo sea una decisión reversible.