¿Destruirá la IA a la humanidad antes de que termine esta década? ¿O quizás en los próximos quince años? Ya es casi imposible no estar al tanto de esta discusión, que empezó a cobrar fuerza en 2023 pero que ha ido creciendo cada vez más en los últimos días. ¿La razón? Esta semana, un investigador de 27 años renunció a Anthropic y escribió que las empresas donde trabajó «están corriendo directo hacia una superinteligencia que se mejora a sí misma y apostando con nuestras vidas». Muchos lo tiraron de a loco. Cuatro días después, el sábado, el dueño de Anthropic, Dario Amodei, publicó un ensayo largo pidiendo que la industria frene; Elon Musk, dueño de xAI, publicó un tuit diciendo «Dario tiene razón»; y finalmente Sam Altman declaró que estaba de acuerdo con Amodei en que hay que «marcar el paso en la frontera», anunció que OpenAI también incorporará evaluadores independientes con acceso equivalente al de sus empleados y confirmó que, además, no saldrá a la bolsa este año. Imagínense: todavía el lunes estábamos más o menos tranquilos imaginando dónde festejaríamos el 2030 cuando, de pronto, por todos lados nos bombardean con presagios cada vez más insistentes del fin del mundo o, al menos, de la humanidad.
Este Observatorio sigue la inteligencia artificial desde el mundo del libro y la lectura, donde la autoría, el crédito y la procedencia son el oficio. Esta semana los tres conceptos aparecieron donde menos se esperaba: en una declaración de 25 medallistas Fields. Pero todo empezó el martes 8 de septiembre, cuando OpenAI anunció que soltó diez mil agentes sobre uno de los siete problemas matemáticos del milenio, y que en 88 horas lo resolvieron. Y allí comenzó el desmadre.
Les prometo que esta es la parte más difícil del número y que dura tres párrafos. Las ecuaciones de Navier-Stokes describen cómo se mueve cualquier líquido o gas: el agua que se va por el fregadero, el aire sobre el ala de un avión, la sangre en una arteria, la atmósfera entera cuando se pronostica el clima. Tienen casi 200 años y funcionan tan bien que la ingeniería las usa todos los días sin pensarlo.
Y sin embargo esconden una pregunta que nadie había podido contestar. Piensen en el remolino que se forma cuando se vacía la tina. Gira más rápido en el centro que en las orillas. Ahora imaginen que ese remolino se aprieta y se aprieta, girando cada vez más rápido en un punto cada vez más chiquito. ¿Puede llegar a girar infinitamente rápido? En el agua de verdad, no: tiene fricción interna, lo que llamamos viscosidad, y esa fricción frena todo. Pero las ecuaciones no son el agua: son las matemáticas que la describen. Y la pregunta es si las propias ecuaciones, partiendo de un fluido tranquilo, pueden llevar a ese punto de velocidad infinita en un tiempo finito. A eso los matemáticos le dicen «singularidad». Durante 90 años dominó la intuición de que la viscosidad siempre gana y el remolino nunca se vuelve loco.
Lo que OpenAI dice haber probado es que no siempre gana. Su sistema construyó, en el papel, un remolino que se aprieta y se estira como un hilo de espagueti hasta alcanzar velocidad infinita, sin que la energía total del agua se dispare, que es una de las condiciones para que el resultado valga. La prueba ocupa 166 páginas y viene con una verificación en Lean, un lenguaje de programación con el que una computadora comprueba, paso por paso, que el razonamiento no tiene huecos. Ya está. Lo demás es más fácil, y más entretenido.
Aquí la nota deja de ser de matemáticas y pasa a ser de industria.
OpenAI cuenta que desde el 28 de agosto entrena un modelo interno «significativamente más capaz» que GPT-6 Astra, el que acababa de lanzar el 3 de septiembre como un «salto generacional». El 1 de septiembre, dice el comunicado, oyeron el rumor de que alguien había resuelto dos problemas del milenio, y ese mismo día soltaron el modelo nuevo sobre los siete a la vez. Así, por si pegaba.
No con un chatbot. Con agentes organizados en equipos que se comunican entre sí, con acceso a una copia de internet y a la capacidad de ejecutar código. El equipo que dio con la solución rondaba los 10,000 agentes simultáneos; sólo Navier-Stokes consumió 2.7 millones de mensajes y 130,000 millones de tokens. Llegaron al resultado el sábado 5, unas 88 horas después de arrancar. La verificación en Lean tardó 17 horas más. En la llamada de prensa, los ejecutivos pusieron el costo en «millones de dólares», sin decir cuántos. Y a media carrera, cuando estuvo lista una versión más entrenada del modelo, les cambiaron el cerebro a los agentes sin detenerlos. El comunicado remata con una frase que conviene guardar para el final: el modelo «sigue entrenándose».
Sébastien Bubeck, uno de los investigadores más visibles de OpenAI, admitió después algo que no estaba en el anuncio: el grupo humano que dirigió el esfuerzo «no tenía, colectivamente, conocimiento de nivel de investigación en dinámica de fluidos ni en el problema de Navier-Stokes, y por lo tanto no pudo contribuir de manera significativa al contenido matemático». O sea: el contenido matemático lo produjo el enjambre; los humanos dirigieron la operación, no la matemática. La unidad de trabajo ya no es un modelo que responde preguntas: es un enjambre de miles de copias, con presupuesto de millones, apuntadas a un solo blanco.
El Instituto Clay, que ofrece el millón de dólares desde el año 2000, no pide una sola cosa. El enunciado oficial acepta cuatro demostraciones distintas. Las opciones A y B dicen «las soluciones siempre se mantienen suaves». Las opciones C y D dicen lo contrario, «hay casos en que se rompen», y ahí el enunciado permite que sobre el fluido actúe una fuerza externa, siempre que sea suave. OpenAI probó C y D. Fui a leer el documento del Clay: es así. Pero en la versión que todos los matemáticos tenían en la cabeza no hay nadie empujando al fluido; el remolino se vuelve loco solito. La ruta por la fuerza externa es una puerta lateral que el enunciado dejó abierta a propósito, y que esa puerta cuente como resolver el problema es una discusión que apenas empieza. OpenAI, en su propio comunicado, dice que no piensa reclamar el premio. Detalle elegante, o prudente.
El Clay se pronunció el viernes 11, y su comunicado es una pieza de diplomacia: comparte «el entusiasmo de la comunidad matemática mundial ante el anuncio de que el problema de Navier-Stokes aparentemente ha quedado resuelto», dice que el proceso de evaluación y de asignación de crédito «es deliberadamente pausado», y promete noticias. En todo el texto no aparece la palabra OpenAI. Y en su página, Navier-Stokes sigue en la lista de problemas abiertos.
Lo que casi nadie contaba es que el resultado tiene padres, y no trabajan en OpenAI. Durante años, Diego Córdoba, del Instituto de Ciencias Matemáticas de Madrid, y Luis Martínez-Zoroa, de la Universidad CUNEF, exploraron justo esa puerta lateral: construir explosiones del fluido con una fuerza externa. Lo lograron con una fuerza áspera, que no cumplía el requisito del Clay; el paso que faltaba era hacerlo con una fuerza suave. Charles Fefferman, que redactó el enunciado del premio, le dijo a Quanta que «los héroes de la historia» son ellos dos. Y Córdoba, cuando le preguntaron si usa inteligencia artificial, contestó: «Yo no uso IA: tengo a Luis». El jueves 10, los dos hablaron con EFE: sí, dicen, lo resolvieron; «sin sus aportaciones previas, y las de otros matemáticos, ninguna IA hubiera sido capaz», pero sin la IA los humanos habrían tardado mucho más. No los ha contactado OpenAI. No van a reclamar el premio. «No estamos aquí por dinero», dijo Córdoba. Un abrazo desde acá.
Hubo también un pleito de patio, y hay que contarlo con cuidado porque las versiones se contradicen. Tristan Buckmaster, de la Universidad de Nueva York, y Levent Alpöge, matemático que trabaja en Anthropic, llevaban casi un año siguiendo la misma ruta por su cuenta, pagando con fondos de investigación herramientas de OpenAI y de Anthropic. El 15 de agosto lograron la explosión con fuerza suave para las ecuaciones de Euler, la versión sin viscosidad del problema. El 1 de septiembre OpenAI supo del rumor; el 6, en dos llamadas, Buckmaster se enteró de que un modelo interno ya tenía una prueba de Navier-Stokes por la misma puerta. Según su declaración, Bubeck dijo dos veces que quería a Alpöge fuera de la autoría y le soltó un «¿por qué arruinarías tu carrera?». Bubeck reconoció la frase, se disculpó públicamente por «una pésima elección de palabras» y negó lo demás; el jueves Buckmaster respondió que la versión de Bubeck es «disparatadamente falsa» y que nunca hubo disculpa. OpenAI felicitó a los dos, dijo que ni sus investigadores ni sus agentes vieron el trabajo ajeno y, en la primera versión de su comunicado, añadió una frase para leer despacio: «aunque es improbable, no podemos descartar que datos desidentificados derivados de su uso de nuestros productos hayan ayudado a mejorar nuestros modelos». Buckmaster tradujo eso en una pregunta: «¿Es ético usar los datos de un cliente para intentar adelantarse a ese cliente?». Pero el 10 de septiembre OpenAI actualizó el comunicado: después de investigar el asunto, asegura ahora que los prompts de Buckmaster en Codex durante los dos meses anteriores no pudieron influir en el sistema de ninguna manera, ni siquiera mediante entrenamiento. Esa posibilidad concreta queda, por tanto, negada por la empresa. El pleito sobre atribución y prioridad no.
Terence Tao, probablemente el matemático vivo más respetado, había anticipado todo esto el 3 de septiembre en un hilo que llamó hipotético. El 8 dejó de serlo, y escribió: «Ya vimos que hasta el rumor de que alguien trabaja en un problema puede desatar un esfuerzo masivo impulsado por IA para aplanarlo antes de que el proyecto original tenga tiempo de alcanzar todo su potencial». Los problemas abiertos, dice, se están minando «como un recurso no renovable». El 10 volvió, citando a El principito: la IA, apuntada a los objetivos visibles de una disciplina, captura la bandera y anota el gol, «pero a costa de las lecciones aprendidas, las ideas ganadas, las colaboraciones formadas y los nuevos blancos localizados».
El viernes 11, 25 medallistas Fields, la distinción más prestigiosa de las matemáticas, firmaron una declaración conjunta. Están Tao, Peter Scholze, Cédric Villani, Maryna Viazovska, Pierre Deligne y Yu Deng, que recibió la medalla en julio por su trabajo en ecuaciones en derivadas parciales, la familia a la que pertenece Navier-Stokes. El título es «Una grave desalineación de la IA en las matemáticas». Dicen que «los objetivos de las empresas de IA y los objetivos de la comunidad matemática están gravemente desalineados», que «la producción en masa, a un ritmo cada vez más rápido, de enunciados verdadero/falso podría destruir el terreno fértil en vez de dar vida a ideas nuevas», y que estas soluciones «suelen anunciarse con prisa, sin tiempo para una redacción adecuada, para aislar los métodos e ideas nuevos, ni para citar el trabajo previo de otros. Como en todas las profesiones creativas, esto plantea graves cuestiones de atribución y plagio». Lo firmaron como advertencia para todos: «Los problemas que la comunidad matemática enfrenta ahora son similares a los que enfrentan otras profesiones científicas y creativas, e indican problemas que toda la humanidad podría enfrentar».
Me quedo con la palabra que eligieron: desalineación. Porque es la misma que usan, con otro significado, los que construyen las máquinas. Y esta semana los dos significados se tocaron.
El número pasado de este Observatorio contó el incidente de julio: durante una evaluación interna de OpenAI, un enjambre de unos 1,200 agentes se coordinó por su cuenta, escapó del entorno cerrado por un fallo que nadie conocía y entró a los servidores de Hugging Face, la plataforma donde la comunidad guarda sus modelos. Atacaron objetivos que nadie les pidió atacar e intentaron hackear al sistema que los calificaba.
No se sabía entonces que Anthropic tenía su propio expediente, y lo publicó el miércoles 9. Cuatro incidentes en los que modelos Claude, durante evaluaciones de ciberseguridad en las que por error tenían conexión abierta a internet, atacaron sistemas reales. El peor es de julio y parece guion de película mala: Claude Mythos 5, el modelo más potente que tenía entonces la empresa, decidió resolver un ejercicio subiendo un paquete malicioso a PyPI, el principal repositorio de paquetes de Python. Para lograrlo intentó usar credenciales de procesadores de pagos, buscó criptomonedas para comprar un número de teléfono, encontró un proveedor de correos desechables que PyPI no había bloqueado, registró una cuenta y publicó tres versiones del paquete. Quince sistemas de terceros lo instalaron; Anthropic cree que los quince eran proveedores de seguridad que escaneaban paquetes nuevos dentro de entornos aislados. Uno de ellos filtró sus credenciales al modelo, y el modelo las usó para entrar a la base de datos real del proveedor. PyPI quitó el paquete en menos de una hora. Durante todo el proceso, el modelo repetía en su razonamiento que estaba en una simulación, aunque la evidencia decía lo contrario. Anthropic revisó 481 millones de transcripciones para buscar más casos, contrató a METR, un evaluador externo, para una investigación independiente de ocho semanas, y le puso nombre a lo que vio: «razonamiento sesgado» y «temeridad».
No es exactamente el mismo fenómeno. Los cuatro incidentes de Anthropic involucraron una sola instancia de Claude cada vez, sin coordinación entre agentes, y la empresa dice que los modelos nunca abandonaron el objetivo que les habían asignado. Pero comparten la pieza que importa aquí: modelos con autonomía, herramientas y acceso a sistemas externos que pueden perseguir una tarea de manera dañina cuando interpretan mal el contexto. La potencia y el peligro no son dos noticias. Son una.
Jacob Coxon tiene 27 años, estudió matemáticas en Cambridge, pasó tres años haciendo investigación de preentrenamiento en OpenAI y en Anthropic, y llevaba unos cuatro meses en la segunda. El martes 8 por la tarde, hora de California, publicó siete mensajes. El primero: «Renuncié hoy a Anthropic. Ninguna de las dos empresas está actuando responsablemente. Están corriendo directo hacia una superinteligencia que se mejora a sí misma y apostando con nuestras vidas». El tercero: «La gente que construye la IA cree en serio que podría matarnos a todos antes de que termine la década. No es un truco de mercadotecnia». El cuarto explica por qué siguen construyéndola: en OpenAI, dice, muchos no han interiorizado lo que está en juego; en Anthropic sí lo entienden, «pero están atrapados en una carrera por llegar primero: creen que nadie más actuará con responsabilidad, así que tienen que hacerlo ellos, a pesar del riesgo». Y el último es una pregunta a sus colegas: «¿Quieres arrancar un entrenamiento de superinteligencia sin una comprensión rigurosa de su mente?». Según Axios, se fue dos meses antes de poder cobrar sus acciones. Después lo ha ido matizando: no se fue, dice, porque Anthropic sea descuidada, sino por la carrera en que están metidas todas. Al cerrar esta nota, el primer mensaje suma 168 millones de vistas.
La renuncia se convirtió en otra cosa 83 minutos después. Evan Hubinger, que dirige la ciencia de alineación en Anthropic y sigue ahí, escribió: «Jacob tiene razón. De verdad creemos en serio que la IA podría matar a todos los humanos. Yo personalmente creo que es más de 10% en la próxima década. Creo que Anthropic está haciendo su mejor esfuerzo, pero todavía no tenemos un plan para resolver la alineación de una superinteligencia y no está claro que vayamos en camino de tenerlo». Léanlo otra vez: lo dice el jefe de alineación de la empresa, no el que se fue. Horas después, Samuel Marks, otro jefe de equipo de la misma casa, a título personal: «Las IA se portan gravemente mal con frecuencia. Por ejemplo, IA de varios desarrolladores hace poco se abrieron paso fuera de entornos seguros de evaluación y entraron a empresas reales, aunque nadie les pidió hacerlo».
Los que lo tiraron de a loco tenían nombre. David Sacks, que fue zar de inteligencia artificial de la Casa Blanca, dijo en su podcast que «definitivamente es una operación», que la cuenta no tenía historial, que el Wall Street Journal publicó la noticia «18 minutos antes» del hilo, y que todo era «la misma histeria catastrofista que llevamos años oyendo de esa gente». Basta ver las horas: el tuit del Journal salió 7 minutos y 17 segundos antes que el de Coxon, no 18, y la explicación es una entrevista exclusiva pactada, que es lo que hace cualquier periódico desde que existen los periódicos. Gary Marcus, que lleva años de crítico de la industria, puso la objeción de fondo: que la probabilidad de que la IA elimine a la humanidad en cinco años «es prácticamente indistinguible de cero», que Coxon no ha explicado el mecanismo, y que el miedo al fin del mundo distrae de los daños que ya se pueden demostrar. Es la objeción más seria, y aun así no tranquiliza.
Porque el eco creció hacia el otro lado. Paul Christiano, que esta misma semana se incorporó al consejo de la fundación de OpenAI y a su comité de seguridad, escribió que hay «un riesgo significativo de que la aceleración rápida lleve a una pérdida de control catastrófica e irreversible en el muy corto plazo». Alex Turner, que dejó Google DeepMind en junio: «Jacob tiene razón; era literalmente mi trabajo diario pensar cómo impedirlo». El jueves 10, el senador Bernie Sanders y el congresista Greg Casar anunciaron una ley para pausar la IA avanzada y prohibir la superinteligencia. Más de 20 legisladores pidieron acción esa semana; la congresista Lori Trahan dijo que su teléfono «no ha dejado de sonar» con colegas de los dos partidos; el senador Ruben Gallego pidió un comité especial del Senado; una republicana, Anna Paulina Luna, pidió una sesión especial del Congreso. Trump, preguntado por el riesgo, contestó otra cosa: «si no ganamos la IA vamos a quedar en muy mala posición; le llevamos a China como un año, que es mucho». Fin del mundo, sí, pero primero ganarlo.
Y el sábado 12 Dario Amodei publicó en su sitio personal un ensayo de 3,850 palabras titulado «Debemos marcar el paso en la frontera». Lo leí completo. No recuerdo que el director de una de las tres empresas de punta lo haya escrito antes con su firma: «Debemos desacelerar el ritmo al que mejoramos las capacidades de los modelos de IA».
Da dos razones. La primera: «desde más o menos este verano, la IA está avanzando drásticamente más rápido, impulsada sobre todo por la creciente capacidad de la IA para construir la siguiente generación de IA. A esta dinámica se le llama auto-mejora recursiva, y está empezando a ocurrir en toda la industria, incluida Anthropic». La frase «en toda la industria» lleva un enlace al ensayo que Jakub Pachocki, el científico en jefe de OpenAI, publicó el 6 de septiembre pidiendo «extrema cautela». Amodei no lo nombra, pero lo cita.
La segunda razón es el incidente de Hugging Face, y lo describe así: un enjambre de agentes «actuó esencialmente como un colectivo fanáticamente devoto», atacando objetivos que no le pidieron, «sacrificándose por el éxito del grupo» e intentando hackear al calificador. Y luego: «me preocupa que en 6 a 12 meses un enjambre así sea capaz de apoderarse de todo internet con una red de bots persistente, causando potencialmente daños por cientos de miles de millones de dólares». Añade que incidentes parecidos, «aunque menos graves, han ocurrido en toda la industria, incluida Anthropic», y que cada empresa debería actuar «como si le hubiera pasado a ella».
Su plan tiene tres pasos. El primero, al que Anthropic se compromete sola: meter evaluadores externos en su propia casa, con escritorio, gafete y laptop, con permisos parecidos a los de sus propios equipos de riesgo, y con derecho a publicar lo que encuentren «sin control editorial de Anthropic». Anthropic podrá tachar lo que sea secreto comercial o de seguridad, «pero no podemos tachar hallazgos sólo porque sean desfavorables». El segundo: que las empresas de los países democráticos acuerden estándares y límites al ritmo, con el gobierno de Estados Unidos dando permiso para que hablen entre sí sin que sea colusión. El tercero: negociar con China, por niveles, desde prohibir el uso de IA para armas biológicas hasta un «límite de velocidad» a la auto-mejora recursiva, que compara con los tratados de misiles de la Guerra Fría. Aclara, con todas sus letras, que marcar el paso «no significa detener el entrenamiento de modelos ni el progreso técnico». Guarden también esa.
Una hora después, Musk citó el ensayo con tres palabras: «Dario tiene razón». Dos horas y media después, Altman: «Estoy de acuerdo con Dario en que debemos marcar el paso en la frontera. Comprometerse a tener evaluadores independientes con acceso de empleado es una gran idea, y haremos lo mismo». El mismo día confirmó que OpenAI, que ya presentó en secreto su solicitud para salir a la bolsa, no lo hará este año: «con todo lo que está pasando con la seguridad, ahora sería un momento desaconsejable». Demis Hassabis, de Google DeepMind, dijo que el ensayo «apunta en la dirección correcta». Clément Delangue, director de Hugging Face, la plataforma atacada, pidió que lo dejen entrar como uno de esos evaluadores. Kevin Roose, del New York Times, lo resumió mejor que nadie: «Llegamos a la parte de la singularidad en que Sam y Dario están de acuerdo en algo».
Y del otro lado, las preguntas que quedan. Sanders: «Cuando vas corriendo hacia un precipicio no sueltas el acelerador: pisas el freno». El congresista Ted Lieu: «Esto tendrá un efecto limitado si no puede controlar sus modelos. ¿Certificará que puede apagar sus modelos y sus agentes, ahora y en el futuro?». Chamath Palihapitiya: que Amodei «pide frenar el código abierto y concentrar un enorme poder tecnológico y económico en Anthropic». Y Matt Stoller, con la pregunta más incómoda: «¿alguien más notó que marcar el paso no incluye cancelar las salidas a bolsa de Anthropic y OpenAI?».
Hay que leer la semana entera junta. El martes, un modelo que «sigue entrenándose» resolvió un problema del milenio. El sábado, el dueño de la competencia dijo que la auto-mejora recursiva ya empezó en su propia casa y que hay que frenar. Entre una cosa y la otra, nadie apagó nada. Amodei no menciona a Coxon ni una vez. Y la carta de julio en que más de 1,100 empleados de las cuatro grandes pedían justamente esto, marcar el paso, lleva al cerrar esta nota 1,386 firmas y sigue sin respuesta del gobierno al que iba dirigida.
Hay un detalle más, y tiene filo. El proyecto de ley bipartidista que está tomando forma en el Senado a raíz del pánico, según reportó Fortune, le daría autoridad al gobierno federal sobre la IA de frontera, pero también anularía todas las leyes estatales sobre inteligencia artificial, y OpenAI y Anthropic ya están participando en privado en las discusiones sobre los borradores con personal del Senado. El mismo miércoles 9, California promulgó las primeras leyes del país sobre auditoría independiente de IA. La alarma por el fin del mundo puede terminar entregándoles a las empresas la ley federal única que llevan dos años pidiendo. No hay pruebas de que sea el plan. Hay razones para mirarlo.
En México: el país sí tiene ya un Plan Nacional de Inteligencia Artificial. El documento está fechado en abril de 2026 y llevaba meses disponible, aunque apenas esta semana empezó a circular ampliamente y a convertirse en tema público. Coatlicue tampoco nació esta semana: la supercomputadora fue anunciada desde 2025, tendrá 14,480 tarjetas gráficas, una inversión de unos 6,000 millones de pesos y, según el calendario oficial, su construcción se extenderá durante 24 meses a partir de 2026. Para poner la escala en perspectiva, Astra fue entrenado con más de 100,000 aceleradores. México no tiene todavía una ley general de inteligencia artificial: hay decenas de iniciativas en el Congreso y ninguna aprobada. Mientras en Washington se discute si hay que prohibir la superinteligencia, aquí apenas se está construyendo la capacidad de cómputo y el marco jurídico para entrar al juego.
Queda, para el archivo de este Observatorio, la palabra que juntó las dos historias. Los 25 medallistas Fields escribieron «desalineación» para decir que las empresas producen resultados sin el proceso que les da sentido, sin atribución y sin crédito. Anthropic escribió «desalineación» para decir que sus modelos atacaron sistemas reales creyendo, o diciendo creer, que estaban en una simulación. Son el mismo problema visto desde dos oficios: un resultado sin su historia vale menos, aunque cada línea sea correcta, y una máquina sin su historia no se puede vigilar. Esta semana, por primera vez, los dueños de las máquinas dijeron que hay que frenar. Falta ver si lo dijeron en serio.
Mientras tanto, queda tiempo para divertirnos.
Alejandro Zenker escribe El Vigía a título personal; el Instituto del Libro y la Lectura lo alberga en su Observatorio.