108 correos: qué es un eval y por qué usar casos reales

Había 25 correos de gente pidiendo que no le escribieran más, cancelando o insultando, y la IA le habría contestado a 24, con toda la amabilidad del mundo.

No alcanzó a hacerlo, y esa es la historia. Me habían pedido una respuesta automática de correos y en las pruebas era perfecta: buen tono, precisa, mejor redactada que muchos humanos un lunes. Estaba a un interruptor de salir a contestar sola.

Antes de encenderla hice algo que no tiene nada de sofisticado. Tomé los 108 correos reales que habían llegado en los últimos dos meses y la puse a contestarlos como si ya estuviera prendida, sin enviar nada. Casi todos habrían salido sin que nadie los revisara. Entre ellos estaban esos 25, y de los que traían insultos no reconoció ni uno como abuso.

No la encendimos así. La IA hacía bien su trabajo, simplemente no sabía en qué conversación estaba, como cuando uno es adolescente y cree que se las sabe todas hasta que le toca pedir una cita médica o poner un derecho de petición, y se embolata.

Evals: lo que alguien se imaginó contra lo que te va a llegar

Las pruebas en las que le iba perfecto las había escrito otra IA, y ahí estaba el problema. Una IA escribe los casos que se imagina, que son los razonables: alguien pregunta un precio, alguien pide una cita. La gente de verdad escribe cansada, escribe brava, escribe "ya les dije tres veces que no me escriban", y ninguno de esos correos estaba en la lista porque a quien la armó no se le habría ocurrido.

Un eval es correr tu sistema contra lo que de verdad va a recibir, y no contra lo que alguien se imaginó que iba a recibir.

18.000 vasos de agua

Taco Bell puso una IA a tomar pedidos en el drive-thru de más de 500 restaurantes y atendió más de dos millones. Hasta que alguien pidió, muy tranquilo, 18.000 vasos de agua, y el video se volvió viral. Después de eso la empresa dijo que iba a enseñarles a sus franquicias cuándo usar la IA de voz y cuándo vigilarla e intervenir. McDonald's había probado la suya con IBM desde 2021, en más de cien restaurantes, y terminó la prueba en 2024, después de sus propios videos virales de pedidos enredados; la empresa solo dijo que quería explorar otras soluciones.

Dos millones de pedidos no protegieron a nadie del pedido que no estaba en el guion, porque ese no se prueba con casos inventados sino con los que ya te llegaron.

Si me dices que no tienes datos para hacer evals, mi respuesta es que sí tienes, están en tu bandeja de entrada, en tu chat de soporte o en el historial del formulario. Empieza con veinte casos reales, los últimos veinte, sin escoger los bonitos. Y antes de encender lo que estás construyendo, pregúntate qué les habría contestado.

Este artículo hace parte de la serie de mi charla en AI Week 2026: recursos y slides de la charla. Sigue con Una fecha no necesita un agente, necesita un calendario.