Las optimizaciones que vale la pena hacer y las que solo parecen impresionantes

El trabajo de optimización tiene una atracción gravitacional hacia lo técnicamente interesante. Las técnicas de nivel de inferencia son realmente inteligentes, están bien documentadas y son satisfactorias de implementar.

También se encuentran, en la mayoría de las implementaciones, por debajo del quinto lugar en la lista de cosas que ayudarían.

El orden en el que realmente trabajaríamos

Primero, elimine el trabajo que no es necesario hacer. Definiciones de herramientas no utilizadas que ocupan contexto en cada llamada. Se agregaron secciones de aviso para un caso extremo hace dos años. Recuperación que devuelve diez pasajes donde tres bastarían. Esto es puro desperdicio, y eliminarlo no cuesta nada en calidad porque no aportaba nada.

En segundo lugar, corrija los reintentos. Una carrera que falla y se reinicia paga dos veces por un resultado. Los reintentos suelen ser la mayor ineficiencia que se puede abordar y son invisibles a menos que se midan aparte de los éxitos.

En tercer lugar, paralelizar lo que es secuencial pero independiente. La mayoría del código de agente ejecuta pasos en serie porque así es como se lee, no porque sea necesario.

Cuarto, ajuste el tamaño correcto del modelo por paso. Los pasos de clasificación y extracción rara vez necesitan capacidad de frontera, y ejecutarla en ellos es un costo permanente sin ningún beneficio.

Quinto, y sólo ahora, técnicas de nivel de inferencia.

Por qué importa más el orden que las técnicas

Los primeros cuatro son baratos, de bajo riesgo y frecuentemente grandes. El quinto es sofisticado y su impacto está limitado por la cantidad de tiempo transcurrido que fue inferencia en primer lugar.

Si la inferencia es un tercio de su tiempo de ejecución, una mejora de inferencia del veinte por ciento es una mejora de ejecución del siete por ciento. Vale la pena tenerlo, y no vale la pena tenerlo antes de los reintentos que le están costando el cien por ciento de su tráfico.

Mide antes de elegir

Todo lo anterior supone que conoces el desglose. La mayoría de los equipos no lo hacen, porque la instrumentación estándar informa por ejecución en lugar de por paso.

La medición por paso es el requisito previo para cada decisión en esta lista. Sin él, la optimización es una cuestión de gustos y el gusto selecciona de forma fiable la opción interesante.

Cada optimización es una hipótesis sobre la calidad.

La razón por la que insistimos en la evaluación antes de la optimización es que todos estos cambios pueden reducir la calidad y la mayoría de las reducciones no son visibles de inmediato.

Un modelo más pequeño en un escalón que resultó necesitar capacidad. Un mensaje recortado que eliminó el párrafo que maneja un caso límite real. Menos pasajes recuperados, lo cual está bien hasta que la pregunta necesite el cuarto.

Calificar cada cambio según los criterios que definiste de antemano es lo que separa un ahorro de un aplazamiento. Esto es exactamente lo que hace el Optimizador y es por eso que se niega a presentar un cambio como una mejora únicamente en el costo.

La conclusión poco glamorosa

El trabajo de optimización de mayor rendimiento en la mayoría de los sistemas de agentes es eliminar cosas: herramientas no utilizadas, texto de aviso acumulado, recuperación innecesaria, pasos que no deberían haber sido secuenciales.

No es interesante escribir sobre nada de eso, lo que presumiblemente es la razón por la que se escribe tanto más sobre las alternativas.

Siguiente

Las páginas Optimizador y Monitoreo de tokens cubren la medición por paso y la optimización medida por evaluación. Las páginas de Observabilidad de IA cubren la instrumentación dentro de una ejecución.