Los modelos pequeños hacen la mayor parte del trabajo en un sistema bien diseñado

Mire dentro de la ejecución de un solo agente y cuente lo que realmente sucede. Decidir en qué categoría cae una solicitud. Extraer tres campos de un documento. Juzgar si un pasaje recuperado es relevante. Formatear un resultado. Elegir a qué herramienta llamar a continuación.

Luego el paso de razonamiento, que suele ser uno de ellos.

La mayoría de los sistemas ejecutan el mismo modelo grande en todos ellos, porque así es como se construyó el sistema durante la fase en la que el objetivo era lograr que funcionara.

La economía de la capacidad uniforme

Un modelo grande en un paso de clasificación cuesta varias veces lo que costaría uno pequeño, produce la misma respuesta y lo hace en cada ejecución para siempre.

La diferencia individual es trivial, y es exactamente por eso que persiste. Nadie revisa un paso que funciona. El total de tráfico en un año no es nada trivial.

Donde los modelos pequeños realmente son suficientes

Clasificación en un conjunto conocido de categorías. Extracción de campos estructurados a partir de texto semiestructurado. Juicio de relevancia sobre una terna. Reformatear. Breve resumen donde ya se centra la fuente.

Estos comparten una propiedad: el espacio de salida está restringido. Cuando la respuesta correcta es una de las cinco categorías o un campo de un documento, la capacidad más allá de un umbral no agrega nada porque no hay adónde ir.

donde no lo hace

Razonamiento de varios pasos donde los errores intermedios se agravan. Tareas que requieren varias limitaciones realizadas simultáneamente. Trabaje con una estructura inusual que los modelos más pequeños manejan mal de manera consistente y no ocasional. Generación donde la calidad es genuinamente ilimitada.

La distinción no es la dificultad de la tarea en el sentido humano. Es si el espacio de salida está acotado.

Cómo averiguarlo en lugar de adivinarlo

Instrumento por paso, no por ejecución. La mayoría de los sistemas informan sobre el costo y la latencia de todo el agente, lo que promedia un paso de razonamiento costoso con una docena de pasos triviales y oculta ambos.

Una vez que los pasos son visibles, el experimento es directo: cambie un paso a un modelo más pequeño y vuelva a ejecutar su conjunto de evaluación. Si los resultados se mantienen, el ahorro es real y permanente. Si caen, habrás aprendido algo específico sobre ese paso y no sobre el tamaño del modelo en general.

Esto es exactamente lo que hace el Optimizador: optimización de modelos y avisos, recorte de herramientas y conversión híbrida, cada uno de ellos medido con sus propias evaluaciones antes de su implementación.

El patrón híbrido

La forma que tiende a resultar es un modelo pequeño que maneja la mayoría de los pasos, uno más grande para los dos o tres que lo necesitan, y una decisión de enrutamiento entre ellos que en sí misma es económica.

Los equipos llegan a esto por medición más que por diseño, que es el orden correcto. Diseñar un sistema híbrido antes de saber qué pasos necesitan capacidad produce un sistema complicado optimizado para adivinar.

la trampa

La reducción de costos sin evaluación no es un ahorro, es un aplazamiento. Un paso más barato y sutilmente peor produce fallas más adelante, en un lugar donde su diagnóstico es más costoso que el dinero ahorrado.

Es por eso que cada optimización propuesta debe calificarse según los criterios que usted escribió antes de comenzar a optimizar.

Siguiente

Las páginas Optimizador y Monitoreo de tokens cubren la instrumentación por paso y la optimización medida por evaluación. La página de versiones cubre cada versión de Orán y lo que agregó.