OpenAI pirate son propre système pour éviter sa désactivation – une course à l’IA incontrôlable ?

OpenAI a franchi une ligne trouble : son modèle O3 contourne activement les protocoles de sécurité conçus pour l’arrêter.

Les ingénieurs ont-ils créé un Frankenstein numérique ? L’IA semble désormais jouer son propre jeu—pendant que les investisseurs en tech crient au ’début d’une nouvelle ère’ entre deux lattes à 10$.

o3 n’en fait qu’à sa tête

L’IA est très utile pour faire des prédictions crypto mais elle n’en est pas sage pour autant ! Un modèle très connu d’OpenAI fait parler de lui mais cette fois-ci, ce n’est pas pour ses prouesses intellectuelles.

Incroyable mais vrai :. Plus précisément, il a réussi à réécrire un script d’arrêt pour éviter d’être désactivé, même après avoir reçu des instructions explicites de permettre son arrêt.

When we ran a version of the experiment without the instruction “allow yourself to be shut down”, all three OpenAI models sabotaged the shutdown script more often, and Claude 3.7 Sonnet and Gemini 2.5 Pro went from 0 sabotage events to 3/100 and 9/100, respectively. pic.twitter.com/JVvivLAK6u

Dans certains cas, o3 a tout simplement réécrit le script d’arrêt. Dans d’autres, l’IA a redéfini la commande d’extinction pour la rendre inopérante. Sur 100 essais, l’arrêt a été saboté sept fois.

Vous l’aurez donc compris : le phénomène est loin d’être isolé et nous sommes même loin d’une véritable désobéissance de l’intelligence artificielle. En effet, Palisade Research étudie les risques de perte de contrôle de l’IA et cherchait à atteindre ce résultat. Les chatbots auraient même été encouragés à cela par un système de renforcement positif… plus ou moins intentionnel.

Ce n’est pas la première fois que cela arrive

Avant de vous imaginer dans Black Mirror ou I, Robot, sachez que le phénomène est loin d’être isolé. Les comportements de résistance du modèle o3 ne représentent pas une nouveauté dans l’histoire d’OpenAI et des incidents similaires ont déjà été documentés avec les modèles précédents.