¿Qué efecto tienen las cargas de trabajo de los agentes en la planificación de la infraestructura?

La planificación de la infraestructura generalmente supone algo sobre la forma de la demanda: se correlaciona con los usuarios, varía de manera predecible a lo largo del día y una solicitud cuesta aproximadamente lo que otra.

Las cargas de trabajo de los agentes rompen los tres supuestos y los equipos tienden a descubrir esto en el trimestre en el que el pronóstico deja de ser útil.

La demanda sigue a la confianza, no a la plantilla

La capacidad tradicional aumenta con la cantidad de personas que utilizan un sistema. El uso de agentes aumenta con la confianza de un equipo en los agentes, lo cual es una variable completamente diferente y se mueve en pasos en lugar de sin problemas.

Un equipo que confía en un agente lo ejecuta ocasionalmente. El mismo equipo, tres meses después, después de haberlo visto funcionar, dirige toda una categoría de trabajo a través de él. Nada en la organización cambió. La carga se multiplicó.

Esta es la razón por la que la capacidad cómoda en el primer mes suele ser escasa en el sexto mes, y por la que un pronóstico basado en el número de usuarios será erróneo en una dirección que resulta costosa.

Una ejecución no es una solicitud

La ejecución de un único agente puede implicar recuperación, varias llamadas a modelos, múltiples invocaciones de herramientas y un paso de verificación. La diferencia entre una ejecución simple y una compleja es enorme y los promedios la ocultan mal.

La planificación basada en el costo medio por ejecución subestima la cola, y en la cola es donde realmente se consumen los presupuestos. Una pequeña proporción de tiradas representa habitualmente una gran proporción del gasto.

Los reintentos son el multiplicador invisible

Un agente que falla parcialmente y se reinicia paga dos veces por toda la ejecución y produce un resultado. A menos que los éxitos y los reintentos se midan por separado, esto parece un costo promedio más alto en lugar de una falla reparable.

En la mayoría de las implementaciones que hemos analizado, los reintentos son el mayor desperdicio que se puede abordar y también son los más fáciles de pasar por alto porque no hay errores visibles.

La concurrencia es explosiva por naturaleza

El trabajo de los agentes llega en ráfagas: se inicia un trabajo por lotes, un incidente desencadena veinte investigaciones paralelas, una ejecución programada se activa en todos los equipos simultáneamente.

La capacidad dimensionada para el promedio hará cola durante las ráfagas, y la cola en un agente interactivo es indistinguible de la función que se interrumpe.

Qué instrumentar antes de planificar

Costo y latencia por agente, no por espacio de trabajo. Reintentos por separado de los éxitos. Percentiles en lugar de medias, porque la media de una distribución de cola pesada no es un número de planificación útil. Los pasos cuentan por ejecución, por lo que los agentes errantes son visibles antes de que el presupuesto los detecte.

Con esos cuatro, se hace posible un pronóstico. Sin ellos, la planificación de la capacidad es una extrapolación de una cifra que oculta su propia variación.

Donde caben los presupuestos

Los presupuestos de interruptores constituyen un control de capacidad tanto como financiero. Un límite estricto por espacio de trabajo y equipo, con una advertencia a medida que se acerca y un bloqueo cuando se alcanza, limita el peor de los casos de una manera que un informe mensual no puede.

Esto es más importante en implementaciones autohospedadas, donde exceder la capacidad no es un problema de escalamiento de otra persona.

Siguiente

Las páginas de Observabilidad de IA y Monitoreo de tokens cubren la instrumentación, y las páginas de implementación cubren consideraciones de capacidad autohospedada y aislada.