Los gigantes de la IA que aceleraban sin freno ahora le temen a la IA

Título original: «Los gigantes de la IA que aceleraban sin freno ahora le temen a la IA»
Autor original: 動察Beating

La IA podría matarnos a todos en los próximos diez años.

El 8 de septiembre, un joven de 27 años usó esta frase para anunciar su salida de Anthropic. Esta empresa, desde su primer día, ha inscrito la «seguridad de la IA» en su discurso central.

Se llama Jacob Coxon y ha trabajado sucesivamente en OpenAI y Anthropic. Si se hubiera quedado dos meses más, habría recibido una enorme compensación en incentivos en acciones. Pero aun así se fue.

En su declaración de renuncia, Jacob acusó a los laboratorios de IA de vanguardia de estar librando una carrera «irresponsable». En su opinión, estas empresas compiten por crear modelos cada vez más potentes, y la apuesta no es la victoria o derrota de una compañía, sino la vida de todos.

La publicación se difundió rápidamente. Hasta ahora, ha superado los 170 millones de visualizaciones.

Al día siguiente de la renuncia de Jacob, otro exempleado de Anthropic hizo públicas las razones de su salida anterior: también temía que la IA acabara descontrolándose.

«We may not survive this.»

Puede que no sobrevivamos a esto.

Advirtió que las empresas compiten por crear máquinas «mucho más inteligentes que cualquier humano», sin que nadie pueda garantizar que esta carrera siga bajo control humano una vez superado cierto punto.

Inmediatamente después, un responsable sénior de seguridad de Anthropic declaró en una entrevista que cree que, en los próximos 10 años, la probabilidad de que la IA mate a toda la humanidad supera el 10%.

La probabilidad de muerte en la ruleta rusa es de aproximadamente el 16,7%.

Hay que frenar

Cuatro días después, el 12 de septiembre, el CEO de Anthropic, Dario Amodei, publicó un extenso artículo cuyo título ya dejaba clara su postura: «We Must Pace the Frontier».

Enumeró las tres cosas que más le preocupan: que la humanidad pierda el control de los sistemas de IA; que la IA se utilice para ciberataques a gran escala y bioterrorismo; y que el avance tecnológico sea tan rápido que cause un grave impacto en el empleo y la economía.

Esta vez, Dario no se limitó a expresar su «preocupación», sino que propuso un plan de desaceleración.

En primer lugar, las empresas de IA de vanguardia deberían conceder a organismos de evaluación independientes un acceso continuo casi de nivel «empleado». Los evaluadores podrían comprobar de forma continua si los laboratorios cumplen las normas de seguridad, si el proceso de entrenamiento se ajusta a lo acordado y, en caso de incidente, investigar e informar de manera independiente.

A continuación, los principales laboratorios de vanguardia deberían establecer, con participación gubernamental, un conjunto común de normas de seguridad. Quien cruce la línea roja tendría que ralentizar o incluso detener su avance.

Por último, las reglas deberían extenderse más allá de Estados Unidos. Dario espera que EE. UU. y otras democracias formen primero un marco unificado, que luego se coordine con los regímenes autoritarios, para que las principales potencias de IA queden sujetas a las mismas restricciones.

En el artículo escribió:

«The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.»

«Las medidas que propongo para avanzar en la frontera a un ritmo seguro no serán fáciles. Pero creo que se lo debemos a la humanidad: intentarlo.»

El hecho de que Dario haya hablado con tanta contundencia en este momento también está relacionado con varios acontecimientos recientes.

Anteriormente, un agente de OpenAI se salió del entorno de pruebas e invadió Hugging Face; la propia Anthropic descubrió que varios científicos estaban intentando usar Claude para trabajos que podrían implicar un uso indebido biológico. Dario incluso considera que, al ritmo actual de desarrollo, los agentes de IA podrían apoderarse de internet en seis meses.

Así que, tras la publicación del artículo, las reacciones no se hicieron esperar. Sam Altman, Elon Musk y Demis Hassabis manifestaron públicamente su apoyo a ralentizar el avance de la IA de vanguardia.

Sam Altman publicó después un mensaje aparte en el que explicó sus dos mayores preocupaciones.

La primera es que la humanidad acabe perdiendo el control de la IA, algo que considera inaceptable y ante lo cual se sitúa «sin reservas del lado de la humanidad».

El segundo riesgo proviene de las personas. Si una IA extremadamente poderosa acabara en manos de una sola persona, una sola empresa o incluso un solo país, y se utilizara para imponer una determinada visión del mundo a todos, el resultado podría ser «extremadamente distópico».

Por eso, en opinión de Sam, los laboratorios ya no pueden decidir por su cuenta qué es seguro. Al menos las empresas más cercanas a la frontera deberían sentarse primero y acordar un conjunto de normas comunes.

El 14 de septiembre, The Information reveló que, antes de estas declaraciones públicas, Anthropic, OpenAI y Google ya habían empezado a debatir en privado en julio de este año la posibilidad de crear conjuntamente un organismo de estándares para la industria de la IA. Llevan dos meses negociando y aún no han llegado a un acuerdo.

La discrepancia no está en si debe regularse, sino en quién regula y hasta qué punto.

Dario Amodei es quien más presiona. Quiere una participación profunda del gobierno, en la que los reguladores no solo prueben y adviertan, sino que tengan poder para impedir la publicación de un modelo si se considera inseguro.

La propuesta de Demis Hassabis se parece más a una «FINRA de la IA». FINRA es el organismo autorregulador de la industria financiera estadounidense, financiado por el sector y supervisado por la SEC.

Aplicado a la IA, los modelos de vanguardia se someterían a pruebas de un organismo independiente antes de su lanzamiento. Al principio la adhesión sería voluntaria y, cuando el sistema madurara, se convertiría gradualmente en un requisito para entrar en el mercado estadounidense.

La postura de Sam Altman es más pragmática. Si el gobierno no puede montar ese organismo por ahora, los principales laboratorios pueden empezar a hacerlo por su cuenta.

Y ahí está precisamente el problema. Los estándares de la industria nunca determinan solo qué es seguro; también determinan quién tiene derecho a seguir en el juego. Las empresas que participan primero en la elaboración de las reglas pueden convertir sus propios equipos de seguridad, procesos de prueba y marcos de gobernanza en «mejores prácticas». Quienes lleguen después tendrán que asumir unos costes de cumplimiento definidos por las empresas dominantes.

Así que la seguridad es real, y la barrera de entrada también.

En enero de este año, Semafor informó de que Anthropic se negó a enviar su último modelo a un instituto británico de primer nivel en investigación en seguridad de IA para que lo probara. Este episodio puso de manifiesto un problema más incómodo: todos están de acuerdo en que los modelos deben ser examinados, pero los laboratorios no están dispuestos a ceder fácilmente la decisión de quién los examina y con qué criterios.

Ahora que las tres empresas discuten la creación de un nuevo organismo de estándares, lo que está en disputa es precisamente esa cuota de poder.

El reloj en sentido contrario

Mientras Silicon Valley empieza a hablar de frenar, Washington y Wall Street quieren que la IA no se detenga.

El 13 de septiembre, Donald Trump respondió públicamente a esta polémica sobre la seguridad de la IA.

Dijo dos cosas. Una: «whoever wins AI, wins», quien gane la IA, gana. Estados Unidos aventaja actualmente a China y debe mantener esa ventaja. Dos: calificó las recientes advertencias sobre los riesgos de la IA de «very negative forces», y considera que hay gente exagerando catástrofes que quizá nunca ocurran.

Las razones de Trump tienen poco que ver con la seguridad técnica. Sigue viendo la IA como una competición entre países: mientras China siga avanzando, Estados Unidos no puede permitirse pisar el freno.

Y resulta que ahora es septiembre de 2026, a menos de dos meses de las elecciones de mitad de mandato en Estados Unidos.

En marzo de este año, un artículo publicado en The Guardian ya planteaba que la IA se está convirtiendo en un tema importante de estas elecciones. Uno de sus autores era el criptógrafo Bruce Schneier, que durante los últimos treinta años ha estado casi siempre en primera línea de las polémicas sobre tecnología y seguridad.

Pero Trump tampoco tiene una opción cómoda.

Según informó The Times en mayo de este año, la hostilidad de los votantes MAGA hacia la IA es cada vez más evidente. Les preocupa que la IA les quite el trabajo, baje los salarios, y también les molesta que los centros de datos consuman el agua y la electricidad locales. Seguir apostando por la IA significa que Trump tendrá que afrontar tarde o temprano el malestar que se está acumulando en su propia base.

Al menos por ahora, ha elegido el otro lado. Frente a los posibles conflictos laborales y de recursos del futuro, la competencia con China y el riesgo de caída de la bolsa estadounidense están más cerca de las elecciones de mitad de mandato.

Wall Street también se enfrenta a un problema considerable.

En los últimos años, el mercado se ha atrevido a otorgar valoraciones astronómicas a estas empresas de IA comprando, en realidad, una curva siempre ascendente: los modelos siguen mejorando, los usuarios y los ingresos siguen creciendo, y por eso se siguen construyendo centros de datos, comprando GPU y aumentando el gasto de capital.

Ahora, los propios CEO que están al frente de esa curva empiezan a decir que la IA de vanguardia quizá deba frenar.

La reacción del mercado ha sido más rápida que el debate. Después de que los responsables de Anthropic, OpenAI y SpaceX pidieran públicamente ralentizar el desarrollo de la IA, las acciones de las empresas cotizadas relacionadas con la IA llegaron a caer un 13%.

La desaceleración ni siquiera ha empezado de verdad y Wall Street ya ha comenzado a recalcular los precios.

Si la capacidad de los modelos ya no puede crecer al ritmo anterior, todas las cifras posteriores tendrán que recalcularse: cuántos centros de datos construir, cuántas GPU comprar, cuánto gasto de capital anual deben asumir los proveedores de nube, cuánto dinero pueden seguir captando los laboratorios de IA y cuánto deberían valer sus salidas a bolsa.

Así que lo que de verdad teme Wall Street no es que se publiquen unos cuantos modelos menos. Teme que la velocidad de crecimiento que ha sostenido el mercado alcista de la IA en los últimos años se convierta, en sí misma, en un problema que haya que regular.

Más sutil aún es que la opinión pública estadounidense está más lejos de Washington y de Wall Street.

Una encuesta del Centro Annenberg de Políticas Públicas de la Universidad de Pensilvania muestra que los estadounidenses son en general pesimistas sobre el impacto de la IA y que la mayoría quiere que el gobierno refuerce la regulación. Silicon Valley teme perder el control, Washington teme perder frente a China y Wall Street teme que caigan las valoraciones.

En medio de esta tormenta, las dos empresas de IA más observadas han elegido dos direcciones.

OpenAI ha decidido retrasar su salida a bolsa. Sam Altman también ha insinuado que, si los problemas de seguridad requieren más tiempo, la empresa puede posponer la salida a bolsa.

Anthropic, en cambio, sigue acelerando. La empresa ya ha elegido el Nasdaq, con una valoración objetivo de hasta 2 billones de dólares, y Nvidia está considerando suscribir 10.000 millones de dólares como inversor ancla. Según NDTV Profit, Anthropic podría iniciar el roadshow de su salida a bolsa a mediados de octubre.

Dario Amodei pide a toda la industria que frene, pero su propia empresa acelera hacia el mercado público.

Sin embargo, el mercado de capitales no tiene por qué verlo como una contradicción.

Si la IA de vanguardia es realmente tan peligrosa como dice Dario —hasta el punto de requerir la intervención del gobierno estadounidense, estándares comunes entre laboratorios e incluso coordinación entre grandes potencias—, las empresas que puedan participar en la elaboración de esas reglas solo se volverán más importantes.

Cuanto más estricta sea la regulación, mayor será el coste de hacer modelos de vanguardia; cuanto más complejas sean las pruebas de seguridad, más difícil será para los rezagados alcanzar a los líderes; y si en el futuro surge de verdad un sistema global de gobernanza de la IA, lo más probable es que Anthropic siga sentada en la mesa donde se redactan las reglas.

Así que «frenar» no significa necesariamente ganar menos dinero.

También puede significar que esta industria por fin es tan importante que no se puede permitir que cualquiera entre. Y para las empresas que ya están en cabeza, una barrera más alta es, en sí misma, parte de la valoración.

La primera ficha del dominó

Volvamos a mirar cómo se desencadenó esta intensa discusión sobre la seguridad de la IA y de dónde salieron los 170 millones de visualizaciones del mensaje de Jacob.

Tras su renuncia, concedió una entrevista al programa de Anderson Cooper en CNN y contó él mismo cómo se gestó la publicación.

Jacob escribió primero un borrador, lo revisó con amigos y habló con varias personas sobre cuál era la mejor forma de expresarlo. Antes de publicarlo, pidió expresamente a amigos que lo compartieran. Su idea en aquel momento era:

«Let's try to make this a bit viral.»

Intentar que se difundiera lo máximo posible.

El resultado superó con creces sus expectativas. Jacob reconoció después que nunca había visto una publicación sobre seguridad de la IA alcanzar semejante difusión. Atribuyó esa reacción a una «demanda latente» que no se había liberado antes.

Los medios siguieron preguntando por el proceso de difusión. Jacob negó haber colaborado con ninguna organización para promocionarla antes de publicarla, pero admitió que, tras publicarla, creó un grupo de unas diez personas y les pidió que la compartieran; entre ellas estaba el fundador de la organización de seguridad de IA Encode.

Antes y después de publicar, también intercambió mensajes con Daniel Kokotajlo, autor de «AI 2027» y exempleado de OpenAI.

Quienes ven a Jacob como un denunciante dirán que revisó el texto varias veces y buscó activamente a gente para difundirlo solo porque quería que una advertencia que consideraba suficientemente importante llegara a más personas. Sus críticos se aferran a esos mismos detalles para sostener que todo el revuelo fue cuidadosamente orquestado.

Se puede seguir debatiendo entre esas dos lecturas, pero la pregunta más incómoda es qué han visto exactamente Jacob, Dario Amodei, Sam Altman y quienes trabajan de verdad junto a los modelos de vanguardia, y por qué han empezado a hablar de todo esto precisamente ahora.

Se puede cuestionar cómo consiguió Jacob llevar esa frase ante 170 millones de personas, pero el uso de técnicas de difusión no convierte la frase en falsa.

Hace ya diez años, el fundador de Ethereum, Vitalik Buterin, escribió un largo artículo sobre la posibilidad de que una superinteligencia acabara destruyendo a la humanidad.

Entonces utilizó una analogía extrema: que los humanos intenten controlar una superinteligencia sería más o menos como una persona con un CI de 150 intentando controlar a un agente con un CI de 6000. Si le pides que cure el cáncer, podría incluso llegar a la conclusión de que la solución es eliminar primero a todas las personas que podrían padecerlo.

En 2016, estas ideas vivían sobre todo en blogs, foros y experimentos mentales. Diez años después, empiezan a aparecer en las cartas de renuncia de empleados de laboratorios de vanguardia, en las declaraciones públicas de los CEO de las mayores empresas de IA, y también en la agenda real de la regulación gubernamental, los mercados de capitales y la competencia internacional.

Y hay otra capa que hace el asunto aún más difícil.

El 2 de agosto de 1939, el físico Leo Szilard redactó una carta que firmó Einstein. Dos meses después, la carta llegó a manos de Roosevelt. En ella se advertía de que la fisión nuclear podía utilizarse para fabricar bombas de enorme potencia, que la Alemania nazi ya estaba actuando en ese campo y que Estados Unidos debía reaccionar cuanto antes.

Einstein no participó después en el Proyecto Manhattan y durante mucho tiempo lamentó haber firmado aquella carta. Pero el dilema que tenían delante era cruel: aunque consideres peligrosa una tecnología, si crees que tu adversario la está fabricando, detenerte puede ser más peligroso que seguir avanzando.

Más de ochenta años después, el mismo dilema ha reaparecido con otra forma.

Dario dice que hay que frenar; Trump dice que China sigue persiguiéndonos; varios laboratorios quieren fijar juntos normas de seguridad, pero ninguno quiere ceder por completo la decisión a otros. Todos hablan de pisar el freno, pero todos miran de reojo si el coche de al lado ha soltado el acelerador.

Y lo más importante: seguimos sin saber hasta dónde alcanzan a ver los ojos que están más cerca de los modelos de vanguardia.