Adónde va realmente el tiempo del agente y por qué rara vez se hace inferencia

El trabajo escénico sigue a la atención y la atención va al modelo. Es el componente más llamativo, tiene un precio por token adjunto y es sobre lo que todo el mundo lee.

Cuando instrumentas un agente para que se ejecute correctamente, la imagen es lo suficientemente diferente como para cambiar en qué estás trabajando.

la forma áspera

En las ejecuciones que hemos analizado, el tiempo transcurrido se divide aproximadamente en cuatro partes.

Inferencia modelo, que es real pero normalmente minoritaria.

Recuperación, incluido lo que haga el índice y lo que haga la etapa de reclasificación, si existe.

Llamadas a herramientas, que llegan fuera de su sistema y, por lo tanto, están sujetas a la latencia de otra persona.

Estructura secuencial, que es el tiempo perdido en pasos que se ejecutaron uno tras otro y no era necesario.

Las proporciones varían según la carga de trabajo. La sorpresa es constante: los dos últimos suelen ser más grandes de lo que los equipos esperan y son los que nadie optimiza.

La estructura secuencial es la ganancia más barata

Un agente que recupera, luego revisa un calendario, luego busca un registro y luego llama, el modelo ha pagado cuatro latencias en serie. Frecuentemente los tres primeros son independientes y podrían haberse ejecutado al mismo tiempo.

Esto parece un código correcto más que un problema de rendimiento, razón por la cual sobrevive a la revisión. También suele ser la mayor mejora disponible y no requiere cambios en los modelos, indicaciones o infraestructura.

Las llamadas a herramientas son el problema de otra persona, lo que las convierte en suyas

Una herramienta que llega a un sistema interno hereda el comportamiento de ese sistema, incluidas sus malas tardes. Un agente sin tiempo de espera en una llamada de herramienta tiene un peor caso ilimitado que eventualmente ocurrirá.

Dos cosas ayudan. Se agotan los tiempos de espera con un respaldo definido, por lo que una dependencia lenta degrada la ejecución en lugar de suspenderla. Y medir la latencia de la herramienta por separado para cada herramienta, de modo que la que ocasionalmente demora once segundos sea visible en lugar de promediarla.

Los reintentos son tiempo además de dinero.

Escribimos sobre reintentos en términos de costos con bastante frecuencia. También son el mayor multiplicador de latencia en la mayoría de los sistemas, porque una ejecución fallida que se reinicia paga el tiempo transcurrido completo dos veces por un resultado.

Cualquier cifra de latencia que promedie los éxitos de los reintentos describe algo que no le sucede a un usuario.

Medir percentiles, no medias

Las duraciones de ejecución de los agentes están muy sesgadas. Una pequeña proporción de ejecuciones tardan mucho más que el resto, generalmente debido a una herramienta lenta, un reintento o un agente que recorre más pasos de los esperados.

La media de esa distribución es un número que no describe ninguna ejecución real. Los percentiles altos son lo que experimenta un usuario en un mal día, y es con ellos con lo que se debe comparar un presupuesto de latencia.

Por donde empezar

Instrumente las cuatro categorías por separado. Mira los percentiles. Encuentra los pasos que son secuenciales e independientes. Establezca tiempos de espera para las herramientas. Cuente los reintentos además de los éxitos.

Ese trabajo no es glamoroso y normalmente produce más de lo que produciría un cambio de modelo, que es el tema recurrente de casi todo lo que escribimos.

Siguiente

Las páginas de Observabilidad de IA cubren la instrumentación dentro de una ejecución. Las páginas del Sistema de orquestación de agentes cubren la evaluación, donde la latencia se califica junto con el costo y la corrección en lugar de observarse por separado.