El coste total de propiedad de la IA no es el número que figura en la factura

Pregúntele a un líder en ingeniería cuánto cuestan sus agentes y, por lo general, obtendrá un número en el panel del proveedor. Es un número real. También es el menos interesante disponible, porque responde a una pregunta que nadie se hace.

La pregunta no es "¿cuánto gastamos en inferencias el mes pasado?". Se trata de "cuál de las cosas que estamos ejecutando vale lo que cuesta y quién decide". Esa pregunta tiene una forma diferente y una factura de proveedor no puede responderla.

Cuatro costos que nunca aparecen como una partida individual

• Reintentos. Un agente que falla a mitad de camino y comienza de nuevo factura dos veces por un resultado. En conjunto, esto rara vez es pequeño y casi nunca se mide por separado del éxito.
• Contexto que nadie recortó. Las indicaciones crecen de la misma manera que crecen los archivos de configuración: alguien agrega un párrafo para solucionar un caso extremo y nadie lo elimina. Cada ejecución posterior paga ese párrafo para siempre.
• Herramientas que el agente nunca necesitó. La definición de una herramienta se ubica en el contexto de cada llamada, ya sea que se use o no. Una docena de herramientas no utilizadas es un impuesto permanente en cada ejecución.
• Agentes huérfanos. Alguien lo construyó para un proyecto. El proyecto terminó. El agente no lo hizo. Sin un propietario por agente, nada en el sistema se da cuenta.

Ninguno de estos son fracasos exóticos. Son el resultado normal de una construcción rápida y se agravan silenciosamente porque ninguno de ellos es lo suficientemente grande como para desencadenar una investigación.

El problema de la atribución es lo primero

No se puede reducir un costo que no se puede atribuir. Esto suena obvio y habitualmente se omite, porque la atribución es un trabajo aburrido y el panel ya muestra un número.

Oran 3.1 existió exactamente por esta razón. Atribuyó el gasto por agente, lo desglosó por usuario y modelo, y lo informó en moneda en lugar de tokens. Esa no es una característica que nadie demuestre bien. Es lo que hace posible cualquier conversación posterior, porque convierte "la IA es cara" en "este agente cuesta tanto y produce esto".

Hasta que se produzca ese cambio, el control de costos es una conjetura con un presupuesto adjunto.

Informar no es control

El segundo problema es el tiempo. Un informe mensual informa sobre un exceso una vez que ya ha ocurrido, lo cual es un ejercicio contable más que un control.

Los presupuestos de disyuntores cierran esa brecha: un límite por espacio de trabajo y por equipo, un aviso cuando se acerca el límite, un bloqueo automático cuando se alcanza y una previsión para el resto del ciclo. La diferencia entre una advertencia y un bloqueo parece de procedimiento. No lo es. Uno de ellos es información y el otro es una decisión que se toma independientemente de que alguien esté mirando el tablero un viernes por la noche.

La trampa de optimizar para el número equivocado

Aquí es donde los equipos se lastiman. Una vez que el gasto es visible, el instinto es recortarlo, y hacerlo es fácil: use un modelo más pequeño, acorte el mensaje y elimine un paso de verificación. El gasto cae inmediatamente y la calidad cae un poco más tarde, en algún lugar donde nadie está midiendo.

Es por eso que la optimización sólo funciona cuando se compara con la evaluación. Oran 3.4 reduce los costos mediante la optimización rápida y del modelo, el recorte de herramientas y la conversión de agentes híbridos, y cada uno de esos cambios se califica con sus propias evaluaciones antes de que se implemente. Lo más barato solo es más barato si la salida aún pasa las comprobaciones que definiste. De lo contrario no has ahorrado dinero, has aplazado un coste a un lugar donde te resultará más caro encontrarlo.

Lo que mediríamos primero

Si se parte de la factura de un proveedor y nada más, el orden que ha funcionado para los equipos que vemos es bastante consistente.

Gasto en atributos por agente antes que nada. Asigne a cada agente un propietario designado. Establezca un presupuesto que bloquee en lugar de advertir. Escriba evaluaciones para su agente de mayor volumen, incluso las más burdas. Solo entonces comience a optimizar y verifique cada cambio con esas evaluaciones.

No es una secuencia rápida. Es el que termina con un número que puedes defender en una reunión de planificación, que es el objetivo real.

Adónde ir a continuación

AI Spend Explorer encontrará gastos excesivos en un par de minutos si desea un punto de partida en lugar de un proyecto. Si desea tener una visión completa, las páginas del Sistema de orquestación de agentes cubren la atribución, los presupuestos, la evaluación y la optimización como un solo sistema en lugar de cuatro herramientas.