¿Por qué los programas de agentes se estancan en el piloto?

El patrón es lo suficientemente común como para ser predecible. Un piloto sale bien, los líderes están contentos, se anuncia una implementación y ocho meses después, los mismos tres agentes están funcionando y nada más ha cambiado.

Nadie decide parar. El programa simplemente deja de progresar, y cuando miras por qué, rara vez es lo que alguien esperaba.

El piloto fue elegido para triunfar

Los pilotos suelen ser seleccionados por su capacidad de demostración: una tarea bien definida, datos limpios, un equipo entusiasta, un campeón con tiempo de sobra.

Cada uno de ellos está ausente en el segundo caso de uso. Los datos son confusos, el proceso es cuestionado, el equipo está ocupado y nadie tiene capacidad adicional para cuidarlo. El piloto demostró que la tecnología funciona en condiciones favorables, lo que nunca fue una cuestión abierta.

Nadie es dueño del segundo.

El piloto tenía un campeón. El lanzamiento tiene un programa. Un programa no tiene propietario y los agentes sin un propietario designado no reciben mantenimiento, por lo que la segunda ola llega sin nadie responsable en seis meses.

Este es el predictor más confiable que vemos. No hay elección de modelo, ni presupuesto, ni sofisticación: si cada agente tiene una persona cuyo nombre se adjunta.

La calidad fue evaluada por la sensación.

En un piloto, una persona que comprende el dominio lee el resultado y lo juzga. Eso funciona para un agente y no sobrevive a diez, porque la atención no escala y los desacuerdos sobre la calidad no tienen árbitro.

Sin criterios escritos ni puntuación automática, cada nuevo agente necesita un asesor humano de forma indefinida y el programa está limitado por el número de asesores que tenga. Los equipos que escribieron evaluaciones durante el piloto pasan por esto. Equipos que no descubrieron que escalar significa escalar revisión.

El coste se hizo visible exactamente en el momento equivocado

El gasto piloto es lo suficientemente pequeño como para que nadie pregunte. El gasto en implementación no lo es, y la pregunta llega en el trimestre en el que el programa tiene costos y pocos resultados completados.

Si el gasto no se atribuye por agente, no hay respuesta. "La IA nos ha costado tanto" invita a tomar una decisión sobre la IA en general, que casi siempre es una decisión de reducir el ritmo. "Este agente cuesta esto y produce esto" invita a tomar una decisión sobre ese agente, que es la conversación que se desea.

La organización nunca decidió para qué servía

El motivo menos técnico y el más común. Un piloto puede tener éxito sin que nadie se ponga de acuerdo sobre el objetivo, porque el objetivo era ver si funcionaba. Un programa no puede.

Los equipos que se estancaron generalmente no pudieron responder cómo sería el éxito en un año. Los equipos que escalaron tenían algo específico, aunque modesto: esta categoría de trabajo, esta cantidad, con esta calidad, para entonces.

Lo que tienen en común los que superan

Atribución por agente y propietario designado desde el primer día. Criterios de evaluación escritos antes de construir. Presupuestos que bloquean en lugar de alertar. Un segundo caso de uso elegido por representatividad más que por demostrabilidad. Y un objetivo declarado lo suficientemente específico como para equivocarse.

Nada de eso es sofisticado. Todo esto es más fácil de instalar antes de la expansión que después.

Siguiente

Las páginas del Sistema de orquestación de agentes cubren propiedad, atribución, presupuestos y evaluación. Si prefiere discutir un programa específico que leer sobre el patrón, reserve una demostración y aproveche las limitaciones.