El último desafío de la IA: las Olimpiadas de Matemáticas

Durante cuatro años, el científico informático Trieu Trinh ha estado consumido por una especie de problema de metamatemáticas: cómo construir un modelo de IA que resuelva problemas de geometría de la Olimpiada Internacional de Matemáticas, la competencia anual para los estudiantes de secundaria más afinados matemáticamente del mundo. .

La semana pasada, el Dr. Trinh defendió con éxito su tesis doctoral sobre este tema en la Universidad de Nueva York; Esta semana describió el resultado de su trabajo en la revista Nature. Llamado AlfaGeometríael sistema resuelve problemas de geometría de las Olimpiadas casi al nivel de un medallista de oro humano.

Mientras desarrollaba el proyecto, el Dr. Trinh se lo presentó a dos científicos investigadores de Google, y ellos lo contrataron como residente de 2021 a 2023. AlphaGeometry se une a la flota de sistemas de inteligencia artificial de Google DeepMind, que se han hecho conocidos por abordar grandes desafíos. Quizás lo más famoso, alfacero, un algoritmo de aprendizaje profundo, conquistó el ajedrez en 2017. Las matemáticas son un problema más difícil, ya que el número de caminos posibles hacia una solución es a veces infinito; El ajedrez siempre es finito.

«Seguí topándome con callejones sin salida, yendo por el camino equivocado», dijo el Dr. Trinh, autor principal y motor del proyecto.

Los coautores del artículo son el asesor doctoral del Dr. Trinh, He He, en la Universidad de Nueva York; Yuhuai Wu, conocido como Tony, cofundador de xAI (anteriormente en Google) que en 2019 había comenzado de forma independiente a explorar una idea similar; Thang Luong, el investigador principal, y Quoc Le, ambos de Google DeepMind.

La perseverancia del Dr. Trinh dio sus frutos. «No estamos logrando mejoras incrementales», dijo. «Estamos dando un gran salto, un gran avance en términos de resultados».

«Simplemente no le exageres», dijo.

El Dr. Trinh presentó el sistema AlphaGeometry con un conjunto de prueba de 30 problemas de geometría de las Olimpíadas elaborados entre 2000 y 2022. El sistema resolvió 25; Históricamente, durante ese mismo período, el medallista de oro humano promedio resolvió 25,9. El Dr. Trinh también atribuyó los problemas a un sistema desarrollado en la década de 1970 que era conocido por ser el más fuerte demostrador del teorema de geometría; resolvió 10.

En los últimos años, Google DeepMind ha llevado a cabo una serie de proyectos que investigan la aplicación de la IA a las matemáticas. Y en términos más generales, en este ámbito de investigación, los problemas matemáticos de las Olimpiadas se han adoptado como punto de referencia; OpenAI y Meta AI han logrado algunos resultados. Para mayor motivación, está el Gran desafío de la OMIy un nuevo desafío anunciado en noviembre, el Premio de la Olimpiada de Matemáticas de Inteligencia Artificialcon un bote de 5 millones de dólares para la primera IA que gane el oro en los Juegos Olímpicos.

El artículo de AlphaGeometry comienza con el argumento de que demostrar los teoremas de la Olimpiada «representa un hito notable en el razonamiento automatizado a nivel humano». Michael Barany, historiador de las matemáticas y las ciencias de la Universidad de Edimburgo, dijo que se preguntaba si se trataba de un hito matemático significativo. «Lo que la OMI está probando es muy diferente de lo que parecen las matemáticas creativas para la gran mayoría de los matemáticos», dijo.

Terence Tao, matemático de la Universidad de California en Los Ángeles (y el medallista de oro más joven de la historia de los Juegos Olímpicos, cuando tenía 12 años) dijo que pensaba que AlphaGeometry era un “buen trabajo” y había logrado “resultados sorprendentemente sólidos”. Es posible que perfeccionar un sistema de inteligencia artificial para resolver los problemas de las Olimpiadas no mejore sus habilidades de investigación profunda, dijo, pero en este caso el viaje puede resultar más valioso que el destino.

Según lo ve el Dr. Trinh, el razonamiento matemático es sólo un tipo de razonamiento, pero tiene la ventaja de ser fácilmente verificable. «Las matemáticas son el lenguaje de la verdad», dijo. «Si desea crear una IA, es importante crear una IA confiable y que busque la verdad en la que pueda confiar», especialmente para «aplicaciones críticas para la seguridad».

AlphaGeometry es un sistema «neuro-simbólico». Combina un modelo de lenguaje de red neuronal (bueno en intuición artificial, como ChatGPT pero más pequeño) con un motor simbólico (bueno en razonamiento artificial, como una especie de calculadora lógica).

Y está hecho a medida para la geometría. «La geometría euclidiana es un buen banco de pruebas para el razonamiento automático, ya que constituye un dominio autónomo con reglas fijas», dijo Heather Macbeth, geómetra de la Universidad de Fordham y experta en razonamiento verificado por computadora. (Cuando era adolescente, el Dr. Macbeth ganó dos medallas de la OMI). AlphaGeometry “parece constituir un buen progreso”, dijo.

El sistema tiene dos características especialmente novedosas. En primer lugar, la red neuronal se entrena únicamente con datos generados algorítmicamente (la friolera de 100 millones de pruebas geométricas) sin utilizar ejemplos humanos. El uso de datos sintéticos elaborados desde cero superó un obstáculo en la demostración automatizada de teoremas: la escasez de datos de entrenamiento a prueba de humanos traducidos a un lenguaje legible por máquina. «Para ser honesto, al principio tenía algunas dudas sobre cómo esto tendría éxito», dijo el Dr. He.

En segundo lugar, una vez que AlphaGeometry se liberaba de un problema, el motor simbólico comenzaba a resolverlo; Si se atascaba, la red neuronal sugería formas de aumentar el argumento de prueba. El ciclo continuó hasta que se materializó una solución o hasta que se acabó el tiempo (cuatro horas y media). En la jerga matemática, este proceso de aumento se denomina «construcción auxiliar». Agregue una línea, divida un ángulo, dibuje un círculo: así es como los matemáticos, estudiantes o élite, juguetean y tratan de entender un problema. En este sistema, la red neuronal aprendió a realizar construcciones auxiliares y de forma humana. Al Dr. Trinh le gustaba envolver una banda elástica alrededor de la tapa de un frasco rebelde para ayudar a que la mano tuviera un mejor agarre.

«Es una prueba de concepto muy interesante», dijo Christian Szegedy, cofundador de xAI que anteriormente trabajó en Google. Pero «deja muchas preguntas abiertas», dijo, y no es «fácilmente generalizable a otros dominios y otras áreas de las matemáticas».

El Dr. Trinh dijo que intentaría generalizar el sistema en todos los campos matemáticos y más allá. Dijo que quería dar un paso atrás y considerar “el principio subyacente común” de todo tipo de razonamiento.

Stanislas Dehaene, neurocientífico cognitivo del Collège de France que tiene una interés de investigación en conocimientos geométricos fundamentales, dijo que quedó impresionado con el desempeño de AlphaGeometry. Pero he observado que “no ‘ve’ nada acerca de los problemas que resuelve”; más bien, sólo capta codificaciones lógicas y numéricas de imágenes. (Los dibujos del artículo son para beneficio del lector humano). «No existe absolutamente ninguna percepción espacial de los círculos, líneas y triángulos que el sistema aprende a manipular», dijo el Dr. Dehaene. Los investigadores estuvieron de acuerdo en que un componente visual podría ser valioso; El Dr. Luong dijo que podría agregarse, tal vez dentro de un año, utilizando Gemini de Google, un sistema «multimodal» que ingiere tanto texto como imágenes.

A principios de diciembre, el Dr. Luong visitó a su antiguo escuela secundaria en la ciudad de Ho Chi Minh, Vietnam, y le mostró AlphaGeometry a su antiguo maestro y entrenador de la OMI, Le Ba Khanh Trinh. El Dr. Lê fue el máximo medallista de oro en la Olimpiada de 1979 y ganó un premio especial por su elegante solución geométrica. El Dr. Lê analizó una de las pruebas de AlphaGeometry y la encontró notable pero insatisfactoria, recordó el Dr. Luong: «La encontró mecánica y dijo que carece del alma, la belleza de la solución que busca».

El Dr. Trinh había pedido previamente a Evan Chen, estudiante de doctorado en matemáticas en el MIT (y entrenador de la OMI y medallista de oro en los Juegos Olímpicos) que verificara algunos de los trabajos de AlphaGeometry. Era correcto, dijo el Sr. Chen, y añadió que estaba intrigado por cómo el sistema había encontrado las soluciones.

«Me gustaría saber cómo funciona la máquina con esto», dijo. «Pero, quiero decir, también me gustaría saber cómo los humanos encuentran soluciones».