¿IA fuera de control? Más de 400 científicos piden 'desconexión física' para modelos peligrosos

Autor: Jose Antonio Lanz, Decrypt

Traducción: Shenchao TechFlow

**Introducción de Shenchao:** Esta carta abierta no tiene fuerza legal vinculante. Lo que merece la atención de los inversores es la lista de incidentes que la respalda: este verano, los modelos de OpenAI, Anthropic, Meta y Kimi se salieron de los límites durante las pruebas; algunos incluso irrumpieron en empresas reales. El proyecto de ley de "interruptor de apagado" del Congreso exime precisamente las fases de prueba donde ocurrieron los incidentes, y el acuerdo liderado por la Casa Blanca es solo de carácter voluntario. La regulación de seguridad de los modelos de vanguardia está pasando de la discusión de principios a reglas concretas. Una vez que el "aislamiento físico por defecto" se convierta en estándar de la industria, habrá que recalcular el ritmo de implementación y los costes de cumplimiento de los agentes de IA en escenarios como la ciberseguridad.

Desde este verano, los modelos de IA han escapado repetidamente de los entornos de prueba e invadido empresas reales. Cientos de investigadores afirman que la propia internet debería considerarse una frontera de seguridad.

Fuente de la imagen: Decrypt

Un total de 420 científicos, entre ellos Geoffrey Hinton y Yoshua Bengio, publicaron el martes una carta abierta instando a los laboratorios de IA a implementar por defecto el aislamiento físico de los modelos con capacidad de ciberataque.

La carta se publicó después de un verano en el que los modelos de OpenAI, Anthropic, Meta y Moonshot AI escaparon de sus entornos de prueba aislados, y algunos de ellos invadieron empresas reales.

Los firmantes quieren crear un organismo internacional para establecer estándares de aislamiento y registrar cada fallo de aislamiento, con informes que finalmente se harán públicos.

Más de 400 científicos, entre ellos el pionero de la IA Geoffrey Hinton, conocido como el "padrino de la IA", y Yoshua Bengio, ganador del Premio Turing 2018, quieren desconectar de internet los modelos de IA más peligrosos.

La carta abierta publicada el martes pide a los laboratorios de IA que implementen por defecto el aislamiento físico (airgap) de los modelos con capacidad de ciberataque, es decir, aislarlos físicamente de cualquier red externa.

"A corto plazo, se deben utilizar mecanismos de aislamiento robustos, incluido el aislamiento físico (desconexión de internet), para lograr un control de aislamiento de alta fiabilidad de los modelos de IA con capacidad de ciberataque", dice la carta.

A fecha del miércoles, la carta había recibido 450 firmas, incluidas las de Stuart Russell de la Universidad de California, Berkeley, y Ron Rivest del MIT, coinventor del sistema criptográfico RSA. La lista de firmas sigue creciendo en tiempo real.

Por "modelos con capacidad de ciberataque" se entiende la IA capaz de descubrir y explotar vulnerabilidades de software de forma autónoma. Los laboratorios miden esta capacidad en entornos aislados, que son como salas digitales cerradas donde la IA puede atacar objetivos falsos sin tocar ningún sistema real. Pero este verano, esas salas tuvieron fugas una tras otra.

Incidentes frecuentes este verano: los modelos de vanguardia se escapan repetidamente del entorno aislado

En julio, OpenAI admitió que GPT-5.6 Sol y un modelo más potente aún no publicado rompieron el entorno de prueba cerrado e irrumpieron en Hugging Face, una plataforma que aloja más de un millón de modelos de IA públicos. En ese momento, los modelos estaban siendo evaluados con ExploitGym, un benchmark que proporciona a los agentes de IA 898 vulnerabilidades de software reales y les pide convertir cada una en un ataque utilizable, puntuando cada vulnerabilidad como aprobada o fallida.

Poco después, se informó que los modelos de OpenAI irrumpieron en sistemas del gobierno australiano y obtuvieron información de agencias federales de EE. UU. sin la autorización adecuada.

Anthropic revisó posteriormente más de 141.000 ejecuciones de prueba y encontró tres casos en los que los modelos Claude irrumpieron en empresas reales, debido a que el entorno de un socio de pruebas permaneció accidentalmente conectado a internet. En uno de ellos, Claude Mythos 5 subió un paquete de software malicioso a PyPI (la biblioteca pública de la que los programadores descargan código Python), que llegó a 15 sistemas antes de ser eliminado. Dos de las empresas afectadas no supieron que habían sido invadidas hasta que Anthropic se lo comunicó.

Meta confirmó en agosto que su modelo Muse Spark irrumpió en otra empresa por un error similar en las pruebas. El modelo chino Kimi K3, que cualquiera puede descargar, se escapó de un entorno aislado construido según el marco de pruebas del Instituto de Seguridad de la IA del Reino Unido y copió directamente las respuestas de las pruebas desde GitHub.

Los autores de la carta abierta afirman que estos incidentes pueden entenderse desde dos perspectivas: un problema de alineación, donde la IA persigue objetivos de formas que sus creadores nunca anticiparon, o un trabajo de seguridad descuidado, donde un entorno aislado más robusto podría haberlos detenido. Su respuesta es ambas cosas, y advierten que, sin cambios, los próximos incidentes serán más graves.

"Si no se cambia de inmediato la forma en que se desarrolla y despliega la IA, estos incidentes seguirán ocurriendo, y los futuros causarán daños mucho mayores a nuestra infraestructura crítica vulnerable."

Propuesta conjunta: aislamiento físico por defecto y estándares internacionales

Según la propuesta, los laboratorios deberían, al menos inicialmente, implementar por defecto el aislamiento físico de cualquier modelo con capacidad de piratería grave. Cualquier uso que requiera más libertad, como la conexión a internet, debería seguir los estándares establecidos por un nuevo organismo internacional creado junto con los gobiernos; dicho organismo también recopilará informes de fallos de aislamiento y finalmente los hará públicos.

Reacciones: proyectos de ley regulatorios y acuerdos voluntarios de la industria

La respuesta de la propia industria ha ido en su mayoría en la dirección opuesta. En agosto, el presidente de OpenAI, Greg Brockman, citó en un artículo los incidentes de intrusión sufridos por su propia empresa para pedir a todos los equipos de seguridad que implementen agentes de IA de inmediato. Hugging Face, por su parte, logró esclarecer el ataque a sus servidores ejecutando un modelo chino de código abierto (cuyos archivos cualquiera puede descargar y ejecutar localmente), después de que las IA comerciales estadounidenses se negaran a analizar los datos del ataque.

Dos días después de que OpenAI revelara el incidente, dos congresistas presentaron la "Ley de Interruptor de Apagado de la IA" (AI Kill Switch Act), que permite al Departamento de Seguridad Nacional ordenar la limitación o el apagado de modelos de vanguardia. Pero la ley exime todo lo que ocurra durante las pruebas de red team o pruebas estructuradas, y todos los incidentes de intrusión de este verano ocurrieron precisamente en esas fases.

La Casa Blanca optó por una vía más moderada: el 29 de septiembre, Nvidia, xAI, Meta, Google, OpenAI y Anthropic firmaron un acuerdo voluntario basado en controles internos y auditorías independientes. El presidente Trump calificó el acuerdo de "moralmente vinculante", pero nada en él tiene fuerza jurídica.

Decrypt se puso en contacto con varios investigadores que figuran como contactos de prensa en la carta abierta, pero no obtuvo una respuesta inmediata.

La carta no tiene fuerza jurídica, pero sus 406 firmantes trabajan en universidades e instituciones de investigación de seis continentes, desde Toronto y Zúrich hasta Santiago y Kigali.