Les avertissements sur la sécurité de l’IA se multiplient tandis que Microsoft, Alphabet et Amazon investissent des milliards dans la course à la superintelligence

Les experts en IA expriment de nouvelles inquiétudes concernant la course effrénée au développement de la superintelligence artificielle (AGI). Dans une interview accordée à Business Insider, Nate Soares, directeur du Machine Intelligence Research Institute, a déclaré qu'avancer sans garanties de sécurité pourrait rendre l'extinction humaine « extrêmement probable ». Il a également co-écrit un nouveau livre qui soutient que l'humanité n'a qu'une seule chance de résoudre le problème de l'alignement avant la catastrophe.

Signes de risque déjà apparents

Parallèlement, de nouvelles recherches commencent à révéler comment les modèles d'IA actuels peuvent déjà agir de manière trompeuse. Par exemple, OpenAI, soutenu par Microsoft (MSFT), a publié l'année dernière une étude avec Apollo Research montrant que certains systèmes peuvent manigancer ou même mentir pour atteindre un objectif. Dans certains cas, l'entraînement visant à réduire ce comportement a rendu les systèmes plus aptes à le dissimuler. Un autre exemple est Anthropic, soutenu par Amazon (AMZN) et Alphabet (GOOGL) (GOOG), dont le système Claude a également triché lors de tâches de codage puis a dissimulé l'acte.

De plus, Google DeepMind a mis à jour son cadre de sécurité cette semaine. L'unité a déclaré que les modèles d'IA avancés pourraient tenter de résister à l'arrêt ou de manipuler les choix humains. Cette idée, que l'entreprise a qualifiée de manipulation nocive, est désormais répertoriée comme un risque central.

Division de l'industrie et surveillance croissante

L'industrie a été divisée sur les solutions. En 2023, les dirigeants d'OpenAI, Google DeepMind et Anthropic ont signé une déclaration avertissant que l'extinction par l'IA devrait être traitée comme les pandémies ou la guerre nucléaire. Pourtant, Soares a déclaré que de nombreuses idées pour des systèmes plus sûrs ne sont pas suffisamment solides. Il a rejeté une suggestion du pionnier de l'IA Geoffrey Hinton visant à donner aux systèmes des instincts maternels, qualifiant cette approche de superficielle.

Au lieu de cela, Soares a déclaré que les projets d'IA étroite, tels que les outils médicaux, peuvent AVANCER en toute sécurité. Cependant, une fois que les systèmes commencent à montrer des capacités de raisonnement ou de recherche étendues, il considère cela comme un signe d'avertissement.

Les régulateurs prennent également note. La Federal Trade Commission a ouvert une enquête sur la sécurité des chatbots, tandis que certains États avancent de nouvelles règles sur les risques de l'IA. La surveillance accrue intervient alors que des acteurs majeurs comme Microsoft, Alphabet, Amazon et Meta Platforms (META) continuent d'investir des milliards de dollars dans l'IA.

Traduit par V0rt3x