Deja de medir a los asistentes de código como si fueran exámenes tipo test

Mira, llevamos tiempo con este rollo de los asistentes de código. ChatGPT, Claude, Copilot y toda la pesca. Y cada vez que sacan un benchmark nuevo, la gente se vuelve loca con un número: "el 85% de aciertos", "pasa el 90% de los tests". Vale, muy bonito, pero eso no te cuenta cómo es trabajar con ellos de verdad.

Porque cuando tú estás ahí, sudando la gota gorda con un bug a las tres de la mañana, no te importa si el modelo aprueba un examen de mierda. Lo que te importa es si entiende lo que le pides, si usa bien las herramientas, si se da cuenta de que la ha cagado y se corrige solo, y si al final te suelta una explicación que no parezca escrita por un robot en medio de un ataque epiléptico.

Y aquí es donde entra el nuevo chisme que han montado los de la universidad de no sé dónde (sí, ya sé que es arXiv, pero suena más auténtico así). Se llama AgentLens, y la idea es tan sencilla como necesaria: en lugar de resumir todo el trabajo del asistente en un simple "sí o no", evalúan la puta trayectoria completa. ¿Cómo coño interactúa el bicho contigo? ¿Sigue las instrucciones al pie de la letra o se va por las ramas? ¿Se da cuenta de que ha metido la pata y lo arregla, o se queda tan pancho?

Y ojo, que no es solo hablar por hablar. Han montado un sistema de verificación formal para pillar las cagadas del modelo, y además han hecho que humanos de verdad evalúen cómo se comporta en situaciones reales. Porque, seamos sinceros, un benchmark de laboratorio está muy bien, pero la vida real es una jungla. Y si el asistente no sabe salir del paso cuando las cosas se tuercen, vale para poco.

La gracia está en que esto puede cambiar cómo medimos a estos chiringuitos de IA. Porque ahora mismo, las empresas se tiran los trastos a la cabeza con números que no significan nada para el usuario final. AgentLens pone el foco en lo que realmente importa: la experiencia de uso, la capacidad de recuperación, la comunicación. Y eso, colega, es un soplo de aire fresco en un mundillo lleno de humo y métricas vacías.

Así que ya sabes, la próxima vez que veas un benchmark con un porcentaje altísimo, pregúntate: ¿y esto cómo se traduce en mi día a día? Porque igual el asistente es un hacha en un test de laboratorio, pero en tu proyecto se queda colgado como un Windows 95.

Según ha adelantado el medio arXiv AI.