Nadie está auditando realmente lo que hacen los agentes de IA en producción, y eso me asusta

Hay una historia circulando en las comunidades de ingeniería en la que no puedo dejar de pensar.

Un agente de atención al cliente, uno de esos sistemas de LLM más herramientas que todo el mundo está lanzando ahora mismo, emite un reembolso de $4,200 a un usuario que no tenía derecho a él. No es un error en la herramienta de reembolso. La herramienta funciona exactamente como se diseñó. El agente simplemente decide que el cliente se lo merece, llama a la función y pasa al siguiente ticket.

La pregunta del post mortem es sencilla. ¿Por qué hizo eso?

Nadie puede responder. Ni el equipo de la plataforma, ni el proveedor, ni la gente de ML. Ahí está el mensaje de entrada. Ahí está la llamada a la herramienta. Ahí está la salida. Lo que falta es lo que realmente importa, la cadena de razonamiento entre "el usuario está molesto" y "emitir $4,200 a la tarjeta que termina en 4471". Esa parte vivía dentro de una respuesta del modelo que se truncó en el exportador de trazas porque superaba un límite de 8KB que alguien estableció en 2023 para los tramos HTTP.

Así que se redacta como "el agente se comportó de forma inesperada, investigación en curso", se lanza un ajuste en el prompt y todo el mundo sigue adelante. Porque, ¿qué otra cosa vas a hacer?