Una lista de verificación para evaluar una plataforma de agentes

La mayoría de los procesos de evaluación que vemos dedican el ochenta por ciento de su esfuerzo a la demostración y el veinte a todo lo demás. Esa proporción está al revés, porque la demostración es la parte que todo proveedor serio ha ensayado.

Aquí está la lista que usaríamos.

Atribución y costo

¿Puede mostrar el gasto por agente, no por espacio de trabajo o por mes? ¿Desglosado por usuario y por modelo? ¿Informado en moneda en lugar de tokens?

¿Puedes establecer un límite que bloquee en lugar de advertir, por equipo, y ver un pronóstico para el resto del ciclo?

Si la respuesta a la primera es no, el control de costes en esa plataforma pasa por leer una factura a posteriori.

Propiedad y ciclo de vida

¿Cada agente tiene un propietario designado como propiedad del agente, o es una convención que se espera que el cliente mantenga en una hoja de cálculo?

¿Qué le pasa a un agente cuyo dueño se va? ¿Hay algo en el sistema que detecte un agente al que nadie ha tocado en seis meses?

Los agentes huérfanos son el coste silencioso de todo programa, y las plataformas difieren enormemente en cuanto a si los hacen visibles.

Aplicación de políticas

¿Dónde se aplica un límite: en el mensaje, en la capa de orquestación o en el punto donde ocurre la acción?

Esta es la pregunta con la mayor brecha entre los proveedores y la que más fácilmente se responde de manera vaga. "Se le ordena al agente que no lo haga" no es aplicación de la ley. Pregunte qué impide físicamente la acción.

¿Cómo llegan las credenciales al agente? Si la respuesta implica que el agente guarda un secreto, pregunte cómo es la revocación.

Evaluación

¿Se puede calificar el resultado automáticamente según los criterios que usted defina, en cada ejecución en lugar de en una muestra?

¿Se puede detener una ejecución cuando falla una verificación, o la puntuación solo produce un informe que alguien lee más tarde?

¿Los criterios cubren el costo y la latencia además de la corrección, o solo la corrección? Una plataforma que optimice los costos sin evaluar la calidad hará que su sistema sea más barato y peor.

Auditoría

¿Se registra cada acción de los agentes o se trata de una muestra? ¿Se puede exportar? ¿Incluye en qué se basó el agente, no sólo lo que hizo?

Si un regulador preguntara por qué se produjo un producto específico hace once meses, ¿qué le respondería?

Despliegue y salida

¿Puede ejecutarse dentro de su infraestructura, en su propia nube, completamente aislado? ¿La gobernanza es idéntica en esos modos o reducida?

Y lo que la gente se salta: cómo es irse. ¿Puede exportar sus datos y las definiciones de sus agentes en una forma que siga siendo utilizable? Una plataforma que no puedes abandonar es una dependencia más que una elección.

Preguntas para hacer sobre nosotros

Preferiríamos que los preguntara directamente. No nos entrenamos con sus datos. El procesamiento se realiza en la UE de forma predeterminada y se puede fijar. La gobernanza es idéntica, autohospedada y aislada. Nuestra lista de subprocesadores está disponible previa solicitud y notificamos antes de agregar uno que procese datos personales.

Donde somos más débiles: un despliegue aislado no puede beneficiarse de nada que dependa del comportamiento agregado, y la operación aislada cambia la forma en que funcionan el soporte y el diagnóstico. Ambos son viables y vale la pena conocerlos de antemano en lugar de descubrirlos.

Siguiente

El Centro de confianza cubre el cumplimiento, los subprocesadores y los informes de seguridad. Los cuestionarios sobre adquisiciones pueden dirigirse a contact@capconsultor.eu.