La inteligencia artificial se la pela con un problema lógico que un solver de los 80 resuelve en un parpadeo

Mira, te voy a contar una cosa que me ha dejado flipando. Resulta que han creado un benchmark llamado DeFAb para medir cómo de bien se les da a los modelos de lenguaje eso de la abducción derrotable. Vamos, razonar con información incompleta y cambiar de opinión cuando aparecen datos nuevos. Y el resultado es de traca: un solver de lógica de toda la vida, de esos que se programaban con reglas y poco más, resuelve todos los casos en menos de 50 microsegundos con un 100% de acierto. Mientras, el mejor modelo de lenguaje de los que se venden como 'inteligencia artificial avanzada' llega a un 65% en el mejor de los casos. Pero ojo, que si cambias un poco la forma de presentar el problema —lo llaman evaluación robusta de renderizado—, se desploma hasta un miserable 23,5%. O sea, que la IA más puntera falla tres de cada cuatro veces solo porque le cambias el formato de la pregunta.

Lo mejor de todo es que el benchmark no lo han inventado de la nada. Han cogido cuatro décadas de bases de conocimiento financiadas con dinero público y las han convertido en un montón de casos de prueba formales. Vamos, que no es un test de mierda inventado en un fin de semana, sino algo con fundamento. Y aun así, los modelos de lenguaje —esos que tanto prometen— se quedan en pañales. Esto no es solo un dato curioso; es un puto aviso. Porque si la IA no es capaz de hacer un razonamiento lógico básico cuando las condiciones cambian un poco, igual deberíamos pensárnoslo dos veces antes de dejarle tomar decisiones importantes.

Y ojo, que no estoy diciendo que los modelos de lenguaje sean inútiles. Para escribir poemas, resumir textos o generar memes son cojonudos. Pero para cosas que requieren lógica dura, como diagnosticar enfermedades o gestionar tráfico aéreo, igual necesitan un empujón. O un solver de los 80, que al final es más fiable. El estudio, que viene de arXiv, demuestra que la IA generativa tiene un talón de Aquiles enorme en el razonamiento formal. Y mientras no arreglen eso, yo prefiero que mi médico siga siendo humano.

Segun ha adelantado el medio arXiv AI.