Cuando un modelo más grande es la respuesta incorrecta

Un agente produce un mal resultado. Alguien propone el modelo más grande. Es una medida obvia, fácil de justificar y aproximadamente la mitad de las veces no cambia nada excepto la factura.

La primera pregunta que vale la pena plantearse es qué tipo de fracaso fue éste.

Cuatro fallos que parecen idénticos y no lo son

• El agente no tenía la información. La recuperación lo perdió o nunca estuvo en el corpus. Un modelo más grande producirá una respuesta más fluida basada en la misma ausencia.
• El agente tenía la información y mucho más. El pasaje relevante estaba presente, enterrado en un ruido que una ventana de contexto más larga empeora en lugar de mejorar.
• Al agente no le dijeron qué aspecto tiene el bien. Sin criterios, la calidad de salida es la predeterminada por el modelo, que varía de una ejecución a otra independientemente del tamaño.
• El agente hizo algo que no se le debería haber permitido intentar. Se trata de un fracaso político disfrazado de capacidad.

Sólo uno de ellos es un problema de capacidad. Los otros tres sobreviven intactos a una mejora.

Cómo notar la diferencia en una tarde.

Tome el caso fallido y verifique, en orden: ¿se recuperó la fuente correcta? cuánto material irrelevante vino con él; ¿Existe un criterio escrito de que este resultado habría fallado? y estuvo la acción dentro de los límites que el agente debería haber tenido.

Si la respuesta a la primera es no, arregle la recuperación. Si el segundo es grande, arregle herramientas para cortar o recortar. Si no existe ningún criterio, escriba uno. Si el límite era incorrecto, se trata de un cambio de gobernanza, no de modelo.

Sólo cuando los cuatro se verifican, el modelo es la variable restante, y en ese punto la actualización es un experimento razonable con una hipótesis clara.

¿Por qué el reflejo es tan fuerte?

Porque la actualización de un modelo es una decisión que una persona puede tomar en una mañana y las alternativas son proyectos. Arreglar la recuperación significa comprender un corpus. Escribir criterios significa acordar lo que significa bueno, lo cual es una conversación organizacional disfrazada de técnica.

La actualización no se elige porque es probable que funcione. Se elige porque está disponible.

La forma del costo

Un modelo más grande cambia el precio de cada llamada que realiza el agente, para siempre, incluidas las llamadas que ya estaban funcionando. Si soluciona el diez por ciento de los fallos, has pagado el cien por cien del tráfico para mejorar una décima parte del mismo.

Esto es exactamente para lo que sirve la optimización basada en evaluación. Cuando el Optimizador propone un cambio, se mide con respecto a sus propias evaluaciones, por lo que la pregunta deja de ser "¿se siente mejor esto?" y se convierte en "se movió la puntuación y cuánto costó".

Los casos en los que la capacidad es realmente la respuesta

Existen y tienen una forma reconocible: razonamientos largos de varios pasos donde los errores intermedios se combinan, tareas con estructura inusual que los modelos más pequeños manejan mal de manera consistente en lugar de ocasionalmente, y trabajos donde la respuesta correcta requiere mantener varias restricciones simultáneamente.

Si sus fracasos se concentran allí y su recuperación, criterios y límites son sólidos, actualice con confianza.

Siguiente

La página de versiones cubre cada versión de Orán y lo que agregó. Las páginas del Sistema de orquestación de agentes cubren las capas de evaluación y costos que convierten una decisión modelo en una decisión medible.