Huang Renxun a la izquierda, Amodei a la derecha

Autor original: Su Yang

Editor original: Xu Qingyang

Fuente original: Tencent Technology

Si la IA de vanguardia debe seguir acelerando o pisar el freno se ha convertido en el tema más controvertido de Silicon Valley.

En torno a esta controversia, los gigantes de Silicon Valley han empezado a tomar partido. Dario Amodei, Sam Altman, Elon Musk y Demis Hassabis forman el bando de la «pausa». Jensen Huang es un firme defensor de la «aceleración» y critica que el «catastrofismo de la IA» carece de base científica; Yann LeCun sigue burlándose de Dario Amodei: «Cuando (Dario Amodei) estaba en OpenAI, ya pensaba que GPT-2 era demasiado peligroso para ser de código abierto. Yo me burlé de él entonces, y ahora todos pueden seguir haciéndolo».

En comparación, Mark Zuckerberg y Satya Nadella se muestran relativamente neutrales.

Que los gigantes tomen partido significa que Silicon Valley no ha alcanzado un consenso sobre la pausa de los modelos de vanguardia, lo que se debe a las diferencias de nicho ecológico de cada empresa en la cadena industrial de la IA. Los líderes en el nivel de modelos pueden pedir una pausa por distintas razones, pero es imposible obtener una respuesta positiva de empresas como Oracle, AWS, que tienen pedidos de computación por cientos de miles de millones de dólares, o de Nvidia, que está en la cima de la cadena alimentaria.

En Washington, el llamamiento a la «pausa» no solo no ha recibido apoyo, sino que ha suscitado una serie de cuestionamientos.

«Me parece un poco un caballo de Troya (It feels a little bit to me like a bit of a Trojan horse)», dijo J.D. Vance en una entrevista. Esta frase refleja la opinión real de Washington: cuando las empresas que fabrican el caballo piden repetidamente que la puerta se haga más estrecha, conviene examinar para qué empresas es adecuada esa puerta.

Pausa, advertencia y una carta de dimisión

El detonante de este debate fue la dimisión de Jacob Coxon, investigador de Anthropic.

Anteriormente trabajó durante tres años en investigación de preentrenamiento en OpenAI y Anthropic, participando personalmente en el entrenamiento de los modelos más avanzados. En un largo texto en X, apenas tuvo cortesías: «Ninguna de las dos empresas ha actuado de forma responsable. Se dirigen directamente hacia una superinteligencia capaz de auto-mejorarse, apostando con nuestras vidas».

Afirmó sin rodeos que la gente dentro de los laboratorios cree realmente que la IA podría matar a toda la humanidad en diez años, y que esto no es en absoluto un espectáculo de relaciones públicas. Muchos colegas ya utilizan expresiones como «momento crítico» y «final de partida» para describir la fase actual. Coxon incluso renunció a las acciones que estaban a punto de consolidarse. Solo estuvo cuatro meses en Anthropic, y según las normas de la empresa se necesitan seis meses para ejercer los derechos.

Jacob Coxon, exinvestigador de Anthropic

Inmediatamente después, Evan Hubinger, responsable de ciencia de alineación en Anthropic, respondió públicamente: Jacob tiene razón, realmente creemos seriamente que la IA podría matar a toda la humanidad. Personalmente, creo que la probabilidad de que esto ocurra en diez años supera el 10%. Anthropic está haciendo todo lo posible, pero aún no tenemos un plan claro para resolver la alineación de la superinteligencia, y estamos lejos de estar en el buen camino.

Estos dos disparos sacaron a la luz pública unas preocupaciones que hasta entonces se gestaban principalmente dentro de los laboratorios. En este contexto, Dario Amodei, fundador y CEO de Anthropic, publicó un largo artículo en el que proponía sistemáticamente «ralentizar la investigación de vanguardia». Ya no se limitaba a hablar de «invertir más en seguridad», sino que exigía explícitamente controlar de forma proactiva el ritmo del salto de capacidades, para dar tiempo a que los mecanismos de seguridad se pongan al día.

Propuso un plan de tres pasos: primero, que Anthropic introduzca unilateralmente evaluadores independientes con permisos de nivel de empleado; después, impulsar que las empresas de IA de los países democráticos establezcan estándares de seguridad comunes y límites al crecimiento de capacidades; y, por último, intentar una coordinación global.

Sam Altman, Elon Musk y Demis Hassabis se sumaron rápidamente en público, formando el bando de la «pausa».

Antes de que aparecieran los argumentos de «desaceleración» de Jacob Coxon y Dario Amodei, los «padrinos de la IA» como Yoshua Bengio y Geoffrey Hinton ya venían lanzando iniciativas para prestar atención a los riesgos.

Sobre la dimisión de Coxon, Bengio señaló que los científicos de los laboratorios de IA de vanguardia suelen poder ver antes que el público las capacidades de los últimos modelos, por lo que sus juicios sobre los riesgos merecen ser tomados en serio.

Al mismo tiempo, Bengio puso un ejemplo concreto: los sistemas de IA actuales ya poseen capacidades de piratería informática y persuasión, y si se utilizaran para perjudicar los intereses humanos, podrían causar graves consecuencias. También le preocupa que, a medida que la IA adquiera capacidad de planificación a más largo plazo, este tipo de riesgos pueda ampliarse aún más.

Cuando la BBC le preguntó si la probabilidad de que la IA «mate a toda la humanidad» en los próximos diez años supera el 10%, Geoffrey Hinton también dijo que esa cifra «no es descabellada», pero subrayó que nadie sabe realmente cómo dar una estimación fiable, porque la humanidad nunca se ha enfrentado antes a «la existencia de una especie que podría ser pronto más inteligente que nosotros».

Hinton cree que en el futuro la IA podría utilizarse para diseñar virus biológicos peligrosos, virus informáticos y lanzar ciberataques a gran escala. Por lo tanto, la humanidad necesita encontrar métodos de control eficaces antes de que los riesgos se descontrolen.

A diferencia de los nuevos defensores de la «pausa» en Silicon Valley, los «padrinos de la IA» piden sobre todo prestar atención a los riesgos y explorar mecanismos para controlarlos, en lugar de pisar directamente el freno. Además, desde el punto de vista de la posición, las opiniones y sugerencias del ámbito académico son más puras, mientras que las iniciativas de los laboratorios de vanguardia, aunque lleven la etiqueta de «por el bien de la humanidad», difícilmente pueden desvincularse al 100% de consideraciones comerciales.

Precisamente por eso J.D. Vance dice que la «teoría de la pausa» se parece a un caballo de Troya.

Divergencias y toma de partido

Los bandos «aceleracionista», «desaceleracionista» y «centrista». Fuente: The New York Times

El 15 de septiembre, varios directivos de empresas tecnológicas se pronunciaron sucesivamente en la conferencia Dreamforce de Salesforce, y este debate empezó a convertirse en un enfrentamiento de opiniones más directo.

Ese día, Dario Amodei, Jensen Huang y Sam Altman hablaron sobre la seguridad de la IA, pero dieron respuestas diferentes sobre el ritmo de desarrollo, la responsabilidad en materia de seguridad y las medidas que deberían adoptar las empresas.

Cuando Dario Amodei compartió escenario con Marc Benioff, CEO de Salesforce, volvió a subrayar que las empresas de IA deberían establecer estándares de seguridad más altos mediante sus propias acciones. En su opinión, que las empresas adopten de forma proactiva medidas de seguridad más estrictas puede ser una forma de impulsar el avance de todo el sector.

En otras palabras, la actitud de Dario Amodei empezó a cambiar: de pedir una desaceleración de todo el sector, pasó a que las empresas instalen voluntariamente barreras de seguridad.

Jensen Huang afirmó que «no se necesitan nuevas leyes ni nueva regulación». A su juicio, velocidad y seguridad no son una relación de suma cero: las empresas pueden avanzar en el desarrollo de modelos lo más rápido posible; si descubren que pierden el control o que el producto no puede garantizar la seguridad, deben detenerse a resolver el problema.

La actitud de Benioff fue más abierta y enfatizó la autonomía. Dijo que si una empresa cree que debe ir más despacio, que vaya más despacio; si cree que debe acelerar, que acelere, y que al mismo tiempo asuma la responsabilidad de sus decisiones.

Sam Altman, fundador y CEO de OpenAI, declaró en Dreamforce que confía plenamente en que OpenAI, e incluso todo el sector de la IA, puede desarrollarse de forma segura sin causar daños graves al público. Al mismo tiempo, dijo sentirse decepcionado por que se interpretara su opinión como un apoyo a que todo el sector ralentice el desarrollo de la IA.

En otras palabras, Sam Altman también empezó a cambiar: subrayó que lo que quería expresar no era un llamamiento a la desaceleración del sector, sino que la seguridad y la supervisión deben ir por delante del aumento de capacidades.

Mark Zuckerberg, por su parte, no defiende que las medidas de seguridad de una empresa se basen en la premisa de que otras empresas de IA deban ralentizarse al mismo tiempo. Considera que introducir organismos de evaluación independientes y asesores externos para examinar la seguridad de los modelos es una buena práctica del sector. También reveló que Meta ya había ralentizado por su cuenta el desarrollo de la herramienta de IA Muse, en lugar de esperar a que otras empresas llegaran primero a un consenso sobre la desaceleración de la IA.

La actitud de Satya Nadella, CEO de Microsoft, coincide en cierta medida con la de Sam Altman: anima a instalar barreras de seguridad y también a una competencia plena.

«Lo primero que debemos hacer es servir a la humanidad y garantizar que la tecnología esté bajo control humano. Al mismo tiempo, la difusión amplia de la tecnología de IA es lo más importante: debe haber opciones y competencia. La seguridad hay que tomarla en serio, pero debe abordarse de forma ingenieril y transparente, no mistificándola», dijo Satya Nadella el 15 de septiembre en la cumbre All-In Summit 2026.

Además de estos empresarios, también se sumaron voces desde Washington.

Después de que Trump llamara directamente a Jensen Huang y expresara públicamente su apoyo a que la industria de la IA siga desarrollándose, David Sacks, copresidente del Consejo de Asesores de Ciencia y Tecnología del Presidente de Estados Unidos, declaró posteriormente que las empresas tecnológicas pueden seguir avanzando en la IA de vanguardia, al tiempo que cuestionó los motivos que se esconden detrás de las propuestas de «desaceleración» de algunas empresas.

¿Quién establece las reglas?

A medida que el debate se amplía, la controversia ha pasado del riesgo de la IA en sí a la cuestión de si los estándares de seguridad de la IA de vanguardia deben ser fijados por las propias empresas o si es necesaria la intervención del gobierno y de organismos independientes.

Bloomberg, citando fuentes conocedoras del asunto, informó de que Anthropic, Google y OpenAI ya habían discutido la creación de un organismo de estándares para la industria de la inteligencia artificial.

En julio, Demis Hassabis publicó un artículo en el que proponía crear un organismo de estándares de IA liderado por Estados Unidos, con un modelo de funcionamiento similar al de la Autoridad Reguladora de la Industria Financiera de Estados Unidos (FINRA). Este organismo podría probar los modelos avanzados de IA antes de su despliegue formal para determinar si cumplen los estándares de seguridad correspondientes.

Según la idea de Demis Hassabis, este organismo no debería estar completamente dirigido por el gobierno, sino adoptar un modelo de colaboración público-privada. El gobierno desempeñaría un papel de supervisión, la industria de la IA aportaría la financiación y se incorporarían expertos técnicos independientes de primer nivel, así como representantes de la comunidad de código abierto.

Demis Hassabis intenta añadir una comprobación de seguridad independiente antes de que los modelos entren en el mundo real, lo que encaja bastante bien con una lógica regulatoria que el gobierno estadounidense publicó a principios de junio: las empresas pueden entregar voluntariamente sus modelos al gobierno para su evaluación antes de la publicación pública, con una ventana de acceso de hasta 30 días antes del lanzamiento, y se deja claro que no habrá aprobación obligatoria ni licencia de publicación.

Lo más dramático fue que, posteriormente, Fable 5 y Mythos 5 se lanzaron sin seguir este procedimiento, pero se descubrió que poseían capacidades de ataque y defensa de redes extremadamente potentes, y finalmente fueron retirados temporalmente por la BIS de Estados Unidos mediante controles a la exportación.

Aun así, la actitud de las autoridades se limitó a exigir la instalación de barreras de seguridad, sin pronunciarse ni dar directrices sobre una desaceleración.

Jakub Pachocki, científico jefe de OpenAI, comparte una opinión similar a la de Demis Hassabis. A principios de septiembre también subrayó que compartir estándares de seguridad y llevar a cabo una coordinación internacional en torno al desarrollo futuro de la IA deberían ser prioridades actuales.

Nadie pisa realmente el freno

Hasta ahora, este debate no ha cambiado realmente el ritmo de desarrollo de las empresas de IA de vanguardia.

Anthropic, OpenAI, Google, xAI y otras empresas siguen impulsando la investigación y el desarrollo de modelos, y la competencia en torno a la potencia de cálculo, los centros de datos y la infraestructura de IA no se ha detenido por este debate. En los mercados de capitales se han producido cambios diferentes: Anthropic sigue preparando su salida a bolsa este año, mientras que OpenAI ha retrasado sus planes de OPV hasta 2027.

Que Dario Amodei quiera detener a todo el sector para que acompañe a Anthropic a buscar soluciones que pongan barreras al desbordamiento de las capacidades de los modelos puede entenderse, en cierta medida, como «ser generoso con lo ajeno».

Por eso a Dario Amodei se le ha colgado la etiqueta de «hacerse pasar por un angelito inmaculado».

Sobre este tema del control de riesgos, el punto de vista que representa Jensen Huang se ajusta más a la realidad actual: si una empresa tiene preocupaciones o detecta problemas, puede perfectamente explorar soluciones por su cuenta y compartir con el sector las soluciones eficaces que encuentre.

Hacer que un equipo de 100 personas y otro de 1000 se detengan juntos no tiene ninguna base de consenso. Incluso el propio Dario Amodei sabe muy bien que, si solo él se detiene, es muy probable que competidores como OpenAI lo superen.

Más importante aún es la divergencia en materia de gobierno corporativo. Anthropic y OpenAI son empresas de beneficio público (Public Benefit Company), pueden proclamar que «renuncian a beneficios financieros a corto plazo por el futuro de la humanidad» y pueden decir a los inversores que «esto lo acordamos hace tiempo», pero empresas cotizadas como Google, Microsoft y Meta tienen una obligación fiduciaria legal de sus equipos directivos hacia los accionistas del mercado secundario.

La probabilidad de que empresas con intereses tan distintos lleguen a un consenso en este punto tampoco es muy alta.

Hay otro detalle que quizá se haya pasado por alto. Antes de la «teoría de la pausa», tanto Anthropic como OpenAI lanzaron sucesivamente sus modelos más potentes: uno fue Fable 5.1 y el otro, GPT-6 Astra.

Con todos estos llamamientos, ¿lanzarán o no las demás empresas sus nuevos modelos?