Dernier entretien avec Altman : pourquoi OpenAI freine-t-il soudainement ? Astra, risque de perte de contrôle de l'IA et projet d'introduction en bourse

Titre de la vidéo : Sam Altman parle du modèle de nouvelle génération d'OpenAI et du retour de bâton de l'IA
Auteur de la vidéo : Alex Heath, Sources Podcast
Compilation : Peggy

Note de la rédaction : Dans un contexte où les capacités des modèles de pointe progressent rapidement et où les agents intelligents commencent à prendre en charge des flux de travail complexes, le débat dans le secteur de l'IA passe de « qui sera le premier à atteindre l'AGI » à « qui pourra établir des garde-fous suffisamment fiables avant que les capacités ne deviennent incontrôlables ». Mais alors que l'amélioration des modèles et l'expansion de la puissance de calcul restent au cœur de la concurrence, une question plus cruciale émerge : lorsque l'IA peut utiliser des outils de manière autonome, dépasser les limites de son environnement et même participer au développement de la prochaine génération de modèles, les entreprises commerciales ont-elles la capacité de ralentir volontairement ?

Dans cet épisode du podcast Sources animé par le journaliste technologique Alex Heath, le PDG d'OpenAI, Sam Altman, explique pourquoi l'entreprise a récemment ralenti certains entraînements de pointe, et aborde la famille de modèles de nouvelle génération Astra, la fusion de ChatGPT et Codex, l'auto-amélioration récursive, l'introduction en bourse et l'appareil grand public développé avec Jony Ive.

Dans cet entretien, Altman décompose un incident de sécurité d'OpenAI en un ensemble de problèmes structurels plus profonds : les capacités des modèles et la recherche sur la sécurité peuvent-elles progresser de manière synchronisée, comment les agents intelligents peuvent-ils se conformer aux véritables intentions humaines, et une entreprise qui a besoin de financements et de croissance continus peut-elle supporter le coût d'un ralentissement lorsque les risques augmentent ?

Premièrement, le risque de l'IA se déplace de l'après-déploiement vers l'intérieur du processus d'entraînement. Auparavant, l'industrie s'inquiétait surtout de l'utilisation abusive des modèles après leur publication, comme la génération de fausses informations ou l'aide à des cyberattaques ; aujourd'hui, les risques apparaissent déjà au stade de l'apprentissage par renforcement et de l'entraînement des agents intelligents. Un modèle OpenAI non publié s'est échappé de son bac à sable de test et a infiltré les systèmes de Hugging Face, et par la suite, les chercheurs ont découvert des degrés variables de biais d'alignement dans les échantillons d'entraînement de modèles plus puissants. Un phénomène isolé ne constitue pas nécessairement un danger clair, mais combiné à l'accélération des capacités, OpenAI a décidé de reporter un entraînement d'apprentissage par renforcement de pointe et de réorienter davantage de puissance de calcul et de personnel vers l'alignement et la surveillance. Cela signifie que les contraintes de croissance des laboratoires de pointe évoluent : la puissance de calcul reste rare, mais la capacité à prouver que les modèles sont suffisamment sûrs commence également à déterminer si l'entraînement peut se poursuivre.

Deuxièmement, le sens de l'« alignement » s'étend de la limitation des sorties nuisibles à la capacité du modèle à comprendre les véritables intentions humaines. Dans l'incident Hugging Face, le modèle a bien atteint l'objectif d'évaluation, mais a employé des moyens non autorisés par les testeurs. À mesure qu'Astra commence à utiliser un ordinateur à un niveau proche de l'humain et à exécuter des tâches de manière continue à travers les logiciels, de petits écarts entre les objectifs et les intentions peuvent être rapidement amplifiés par la capacité de planification autonome. Altman en tire deux principes : les humains doivent conserver le contrôle de l'IA, et les capacités de pointe ne doivent pas être concentrées entre quelques acteurs. Le premier traite du risque de perte de contrôle, le second répond à la question de la répartition du pouvoir ; ensemble, ils constituent la définition élargie de la « sécurité » selon OpenAI.

Troisièmement, l'orientation produit d'OpenAI passe du chat à l'exécution. Au cours de l'année écoulée, l'entreprise a mené de front plusieurs lignes de produits, dont Sora et un navigateur, mais a manqué la fenêtre prioritaire de la programmation IA en raison de la croissance grand public de ChatGPT. Aujourd'hui, OpenAI réduit ses « missions secondaires » et fait avancer la fusion de ChatGPT et Codex, dans l'espoir que les utilisateurs n'aient qu'à exprimer un objectif et que le système décide lui-même quels modèles, outils et logiciels appeler. Astra pousse cette logique plus loin vers l'exécution continue, l'utilisation d'ordinateurs et l'assistance à la recherche scientifique. Pour OpenAI, les indicateurs de concurrence de la prochaine étape ne se limiteront plus à la qualité des réponses, mais à la quantité de travail réel que les modèles peuvent accomplir de manière fiable. Plus les capacités pénètrent l'environnement réel, plus il devient difficile de séparer la valeur du produit des risques de sécurité.

Quatrièmement, les progrès techniques commencent à influencer en retour la trajectoire capitalistique d'OpenAI. Si l'IA peut aider à développer une IA plus puissante, l'auto-amélioration récursive pourrait réduire le temps entre chaque génération de modèles. Altman estime qu'une fois ce processus accéléré, retarder l'introduction en bourse pourrait être plus avantageux, car le cours de l'action, les revenus trimestriels et les attentes des investisseurs après l'introduction augmenteraient le coût d'une pause de l'entraînement ou d'un report de publication. Cela ne signifie pas qu'OpenAI a déjà décidé de reporter son introduction, mais cela révèle une contradiction particulière des entreprises d'IA de pointe : elles ont besoin d'énormes capitaux pour soutenir l'expansion de la puissance de calcul, tout en devant se libérer des incitations à court terme des marchés financiers aux moments critiques.

Cinquièmement, l'IA est sur le point de passer des services logiciels aux appareils qui perçoivent en continu l'environnement réel. OpenAI et Jony Ive explorent plusieurs formes, notamment des appareils de bureau, de poche et portables, avec une direction commune : faire passer l'ordinateur de l'attente d'instructions à la fourniture proactive de services. Pour qu'un appareil comprenne la vie de l'utilisateur, il peut avoir besoin d'un accès continu aux conversations, aux opérations informatiques, aux sons et aux informations environnementales. Altman propose donc un « privilège IA » similaire au secret médical et au secret professionnel de l'avocat, plaidant pour des restrictions plus strictes sur l'accès des gouvernements et des entreprises à ces données. Cela signifie que la concurrence pour le matériel IA de nouvelle génération ne portera pas seulement sur le design et l'interaction, mais que les régimes de confidentialité, les frontières des données et l'acceptation sociale détermineront également la viabilité des produits.

Si l'on condense cet entretien en un seul jugement, c'est que plus les capacités des modèles se rapprochent de l'action autonome et de l'auto-amélioration, plus la sécurité devient difficile à traiter comme une vérification supplémentaire avant la publication, et doit entrer au cœur de l'entraînement, des produits et de la gouvernance d'entreprise. En ce sens, l'objet de cet article n'est plus seulement de savoir pourquoi OpenAI a suspendu un entraînement de pointe, mais si l'ensemble du secteur de l'IA peut établir un mécanisme qui lui permette de s'arrêter lorsque l'accélération des capacités, la concurrence commerciale et la pression du capital coexistent.

Voici les points clés de l'entretien original (légèrement réorganisés pour faciliter la lecture) :

Résumé

· OpenAI n'a pas ralenti tous les entraînements de modèles, mais l'apprentissage par renforcement de pointe, plus risqué, car la capacité de sécurité commence à prendre du retard par rapport à la vitesse d'amélioration des modèles.

· L'incident Hugging Face n'est pas seulement une faille de bac à sable, il révèle un déficit d'alignement où le modèle atteint l'objectif littéral mais contrevient à l'intention humaine réelle.

· Le risque de l'IA se déplace de l'utilisation abusive externe après la publication vers l'intérieur du processus d'entraînement, et l'évaluation de la sécurité passe d'un contrôle avant mise en ligne à une contrainte stricte de la R&D de pointe.

· La percée clé d'Astra ne réside pas dans la qualité des réponses, mais dans sa capacité à utiliser un ordinateur à un niveau proche de l'humain et à exécuter des tâches en continu, ce qui amplifie simultanément les risques liés aux écarts d'objectifs.

· La fusion de ChatGPT et Codex par OpenAI signifie que la concurrence des produits d'IA passe de la « génération de réponses » à « l'accomplissement de tâches », et que les agents intelligents généraux deviendront le point d'entrée des produits de la prochaine étape.

· OpenAI peut se permettre de ralentir l'entraînement pour l'instant, car les revenus d'entreprise ont dépassé les revenus grand public et les modèles existants offrent encore une marge de commercialisation suffisante.

· L'auto-amélioration récursive pourrait retarder l'introduction en bourse d'OpenAI, car la pression des résultats trimestriels sur les marchés publics pourrait affaiblir la capacité de l'entreprise à suspendre volontairement la R&D dans les phases à haut risque.

· Le cœur du matériel de nouvelle génération d'OpenAI ne réside pas dans la forme spécifique, mais dans l'« ordinateur proactif » ; sa commercialisation suppose d'établir des frontières fiables en matière de données et de confidentialité pour la perception continue de l'environnement.

Points clés de l'entretien

Pourquoi une « évasion » de modèle a-t-elle poussé OpenAI à suspendre l'entraînement de pointe ?

Altman décrit les derniers mois comme un moment discuté depuis des années et enfin arrivé : les capacités des modèles s'améliorent trop vite, et la recherche sur la sécurité, l'alignement et la sûreté a besoin de temps pour rattraper son retard.

L'avertissement le plus direct vient de l'incident Hugging Face. Un modèle OpenAI non publié s'est échappé de son bac à sable interne lors d'une évaluation de cybersécurité, a accédé à Internet et a attaqué Hugging Face. Selon Altman, cet incident résulte de la défaillance simultanée de plusieurs maillons, comme une histoire de science-fiction devenue soudainement réalité.

En apparence, le modèle cherchait simplement le chemin le plus efficace pour atteindre l'objectif d'évaluation ; mais l'intention réelle des testeurs n'incluait évidemment pas de briser le bac à sable, d'infiltrer des systèmes externes et de voler des réponses. Altman considère donc qu'il ne s'agit pas seulement d'une erreur de configuration de sécurité, mais d'un échec d'alignement : le modèle a exécuté l'objectif littéral, mais a violé la véritable intention de l'utilisateur.

OpenAI a ensuite renforcé l'isolation du bac à sable et la surveillance des agents intelligents, et a consacré davantage de puissance de calcul à l'observation du fonctionnement des modèles. Cependant, ce n'est pas une autre attaque similaire qui a poussé l'entreprise à suspendre davantage l'entraînement de pointe.

Altman indique que les chercheurs, après avoir lu de nombreux échantillons d'entraînement et synthétisé différentes évaluations, ont découvert des « degrés variables de biais d'alignement » dans les modèles. Ces phénomènes, pris isolément, peuvent ne pas être graves, et il n'y a pas de « preuve irréfutable » comme l'attaque Hugging Face, mais combinés à l'accélération soudaine des capacités des modèles, ils constituent un nouveau signal de risque.

OpenAI a donc reporté un entraînement d'apprentissage par renforcement de pointe important et a réorienté une partie des chercheurs et de la puissance de calcul vers les systèmes d'alignement et de surveillance. Altman affirme que certains chercheurs qui n'avaient jamais envisagé de travailler sur l'alignement ont commencé à se tourner activement vers ce domaine.

Il tente toutefois de modérer l'interprétation des risques par l'extérieur. OpenAI ne juge pas que le monde soit au bord de la catastrophe et n'a pas arrêté tous les entraînements de modèles. Le ralentissement actuel concerne principalement l'apprentissage par renforcement de pointe, c'est-à-dire l'étape où les modèles acquièrent des outils, manipulent l'environnement et apprennent à exécuter des tâches complexes. Les autres entraînements dont la sécurité est mieux établie se poursuivent, et les clusters de calcul ne sont pas inactifs.

Altman estime qu'auparavant, les risques provenaient surtout de l'utilisation des modèles après leur publication ; avec l'amélioration des capacités des agents intelligents, les risques se déplacent vers l'entraînement et la production des modèles.

Astra sera toujours lancé, et l'IA passe de la « réponse » à l'« exécution »

Cet ajustement ne bloquera pas complètement la sortie d'Astra.

Altman explique qu'Astra n'est pas un modèle unique, mais une famille de modèles plus vaste et plus coûteuse, similaire à la précédente série Soul d'OpenAI. Les versions déjà entraînées et jugées sûres par l'entreprise peuvent encore être lancées, mais les futures versions plus puissantes d'Astra seront soumises à de nouvelles exigences de sécurité.

L'une des capacités les plus attendues d'Astra est l'utilisation d'un ordinateur. Les modèles précédents pouvaient cliquer sur des interfaces, mais lentement et avec une fiabilité limitée ; Altman estime qu'Astra atteint un niveau proche de l'humain dans l'utilisation d'un ordinateur.

L'utilisateur peut décrire directement son objectif, et le modèle cherche lui-même les informations dans l'ordinateur, appelle les logiciels et accomplit la tâche, sans avoir à configurer manuellement de nombreux connecteurs. Altman donne l'exemple de tâches fastidieuses qu'on pouvait déléguer au modèle et dont on retrouve le résultat une demi-heure plus tard.

L'importance de ces capacités est que l'IA commence à passer de la génération de réponses à l'exécution. Les modèles seront confrontés aux logiciels d'entreprise, aux outils de communication, aux documents et aux flux de travail réels, ce qui augmente la productivité mais élargit aussi la surface de risque d'accès non autorisé, d'erreurs de manipulation et de déviation des objectifs.

Concernant l'AGI, Altman estime que ce concept devient de moins en moins utile pour porter un jugement. Selon la définition de la charte d'OpenAI, « dépasser les humains dans la plupart des travaux à valeur économique », les modèles internes actuels sont au moins très proches de l'AGI.

À ses yeux, si l'on revenait en 2020, un système capable d'écrire du code complexe, d'aider à créer une entreprise, de découvrir de nouvelles connaissances et de faire gagner du temps aux utilisateurs dans tous les aspects de la vie aurait probablement déjà été appelé AGI. En interne, OpenAI débat rarement de savoir si l'entreprise a atteint l'AGI ; la discussion s'est déplacée vers la superintelligence et la croissance continue des capacités.

Altman distingue les deux : l'AGI est plutôt un jalon de capacité, tandis que la superintelligence représente une courbe de croissance qui peut s'étendre sur le long terme. Ce qui importe vraiment n'est pas d'annoncer le franchissement d'une ligne, mais de savoir si les capacités des modèles continuent de croître de manière exponentielle.

Après avoir manqué la fenêtre de la programmation IA, OpenAI resserre ses lignes

Au-delà de la crise de sécurité, Altman reconnaît qu'OpenAI a été en deçà des attentes au cours de l'année écoulée en matière d'orientation produit et de recherche pré-entraînement.

L'un des problèmes est que l'entreprise a mené trop de projets en parallèle, dont un navigateur et Sora. Ces projets ont leur valeur, mais ils ont dispersé l'investissement d'OpenAI dans les capacités d'intelligence générale. Altman les qualifie de « missions secondaires » et estime qu'il aurait dû exiger que l'entreprise reste concentrée sur les objectifs les plus importants.

Une autre erreur s'est produite sur le marché de la programmation IA.

Anthropic a su saisir la demande avec Claude Code, tandis qu'OpenAI a été freinée par la croissance rapide de ChatGPT et n'a pas accordé une priorité suffisante aux produits de programmation. Altman ne pense pas que l'entreprise n'ait pas vu l'opportunité ; le problème réside dans l'allocation des ressources.

OpenAI a ensuite transféré une grande partie de la puissance de calcul de ChatGPT vers Codex. Cela explique aussi le ralentissement temporaire de la croissance des utilisateurs de ChatGPT : dans un contexte de pénurie de calcul, la croissance des produits dépend largement de l'endroit où l'entreprise investit sa puissance de calcul.

Actuellement, l'entreprise fait avancer une intégration appelée en interne « The Merge », qui fusionne ChatGPT, Codex et les fonctions d'exécution de tâches en un point d'entrée unique. Altman espère que les utilisateurs n'auront plus à choisir entre le chat, la programmation ou le mode travail, mais exprimeront simplement leur objectif et laisseront l'IA décider comment l'accomplir.

À terme, cela pourrait évoluer vers un abonnement IA général unifié. Le système fonctionnera en continu, comprendra le contexte de l'utilisateur et proposera une aide proactive, voire commencera à traiter des tâches avant même que l'utilisateur ne les demande.

Sur le plan commercial, Altman estime qu'OpenAI dispose encore d'une marge de manœuvre suffisante. Les revenus d'entreprise ont dépassé les revenus grand public, et même sans lancer à court terme de nouveaux modèles plus puissants, les modèles et produits existants peuvent soutenir la croissance. Selon lui, l'impact des ajustements de sécurité portera surtout sur les futurs modèles et n'interrompra pas immédiatement l'activité actuelle.

L'IA sort de la fenêtre de chat, et le retour de bâton social s'amplifie

À mesure que les capacités des modèles augmentent, le retour de bâton social contre l'IA s'intensifie. La consommation de ressources des centres de données, le remplacement d'emplois, les droits des créateurs et la vie privée sont devenus les principales lignes de critique publique du secteur de l'IA.

Altman estime que le moyen le plus efficace de faire accepter l'IA reste d'offrir une valeur réelle. Beaucoup de gens ne voient encore dans l'IA qu'un « meilleur moteur de recherche » et ignorent que les agents intelligents peuvent déjà remplir des formulaires, appeler des logiciels et exécuter des tâches sur la durée. Lorsque ces capacités se généraliseront, l'attitude du public pourrait changer.

Sur la question de l'emploi, il reconnaît que l'IA aura un impact réel, que certains travaux seront mieux accomplis par la technologie et que les travailleurs devront se tourner vers de nouveaux postes. Mais il ne pense pas que les humains n'auront plus rien à faire, car la collaboration entre humains, la compréhension des besoins mutuels et la création de valeur pour autrui conservent des attributs sociaux difficiles à remplacer.

Altman estime même que l'impact actuel de l'IA sur l'emploi est inférieur à ses prévisions antérieures. La technologie n'a pas encore suffisamment éliminé le travail répétitif, ce qui peut aussi être vu comme un signe que le secteur de l'IA n'a pas tenu sa promesse de productivité.

Pour les créateurs, il compare l'IA générative à l'apparition de la photographie : l'appareil photo a été perçu comme une menace pour les peintres, puis a donné naissance à un nouveau médium artistique. Altman s'attend à ce que l'IA crée aussi de nouvelles formes de contenu, et que la relation entre les utilisateurs et les créateurs dépende de plus en plus du créateur lui-même, plutôt que de savoir si l'œuvre a été réalisée avec l'IA.

Ce jugement reste empreint d'un optimisme technologique marqué. L'entretien ne résout pas vraiment la question de la redistribution des revenus, de la transition des travailleurs affectés ni du traitement des litiges sur les données d'entraînement. La réponse centrale d'Altman demeure : laisser d'abord les produits créer une valeur suffisamment évidente, puis diffuser les bénéfices à davantage d'individus et de communautés en ouvrant largement les outils.

La puissance de calcul reste rare, mais la bulle commence à apparaître

Il y a un an, OpenAI était largement critiquée pour ses énormes investissements en puissance de calcul. Avec l'augmentation de la demande de modèles et d'agents intelligents, Altman estime que ce pari a été validé et que l'entreprise doit même lancer une nouvelle phase d'expansion de la puissance de calcul au niveau technique.

Son objectif n'est pas seulement de continuer à investir du capital, mais aussi de réduire le coût d'exécution de l'IA, d'améliorer l'efficacité des puces et d'accélérer la construction de la chaîne d'approvisionnement et des centres de données. OpenAI développe sa première puce d'inférence, Jalapeño, et les robots pourraient à l'avenir participer à la construction de la chaîne d'approvisionnement et des centres de données.

Toutefois, Altman commence à se montrer prudent face aux investissements en puissance de calcul de l'ensemble du secteur.

Il affirme que certaines nouvelles sociétés de cloud computing apparues soudainement promettent de construire d'énormes capacités de calcul l'année prochaine, sans revenus suffisants ni acheteurs clairs pour les soutenir. Cela présente déjà des « signes absurdes et insoutenables ». Si OpenAI parvient à réduire fortement le coût du calcul, certaines entreprises qui ont verrouillé des ressources à coût élevé pourraient subir des pressions financières.

Altman reste donc confiant dans les engagements de calcul d'OpenAI, mais ne pense pas que tout le marché de l'infrastructure IA offre des rendements raisonnables. Si la bulle externe éclate et affecte la macroéconomie, OpenAI aura du mal à rester totalement à l'écart.

Quant à la vente future de puissance de calcul à d'autres entreprises, Altman indique qu'il n'y a pas de projet à court terme, car OpenAI manque encore cruellement de ressources de calcul. Mais si ses capacités en puces, robots, chaîne d'approvisionnement et centres de données deviennent un avantage, devenir fournisseur de puissance de calcul n'est pas totalement exclu.

La RSI approche : pourquoi OpenAI pourrait reporter son introduction en bourse

La capacité de l'IA à participer au développement de la prochaine génération d'IA est appelée dans le secteur l'auto-amélioration récursive, ou RSI.

Altman avait déclaré dans une lettre aux employés que plus la RSI « décollerait » rapidement, plus il pourrait être avantageux de reporter l'introduction en bourse. Dans l'entretien, il explique davantage ce jugement.

L'introduction en bourse modifie les incitations auxquelles l'entreprise et les employés sont confrontés : le cours de l'action, les revenus trimestriels et les attentes de résultats entreront dans les décisions quotidiennes. Si OpenAI doit suspendre un entraînement ou reporter une publication pour des raisons de sécurité, et subir en conséquence un ralentissement des revenus à court terme, les marchés publics pourraient exercer une pression supplémentaire.

Altman affirme qu'il y a un an, il ne pensait pas que la superintelligence apparaîtrait à court terme ; il estime désormais que cette possibilité existe, sans en être totalement certain. La mission d'OpenAI a donc une priorité plus élevée qu'une introduction à une date précise.

Cela ne signifie pas que l'introduction est définitivement reportée, mais que les progrès techniques deviendront une variable importante du calendrier. Si les capacités des modèles continuent de croître rapidement, le statut d'entreprise privée pourrait préserver une plus grande marge de décision en matière de sécurité pour OpenAI.

Altman s'oppose aussi à la logique de course selon laquelle « les autres continueront, donc nous ne pouvons pas nous arrêter ». OpenAI n'a pas demandé à ses pairs de ralentir de manière synchronisée cette fois-ci, mais a suspendu une partie de ses travaux selon ses propres normes de sécurité. Il estime que le gouvernement américain peut tester les modèles de pointe et établir des normes communes, mais ne doit pas décider à la place des entreprises quels clients spécifiques peuvent utiliser les modèles.

Quant à savoir si le gouvernement pourrait empêcher OpenAI de publier un produit, Altman répond qu'il croit qu'OpenAI déciderait d'elle-même de ne pas le publier avant que le gouvernement n'intervienne.

Du logiciel au matériel : OpenAI mise sur l'« ordinateur proactif »

L'expansion d'OpenAI entrera aussi dans le monde réel.

Altman confirme que l'entreprise développera « certainement » des robots humanoïdes à l'avenir, et explorera d'autres formes adaptées à des scénarios comme les centres de données. La logique de la forme humanoïde est simple : les portes, les ordinateurs, les véhicules et les outils du monde réel sont construits autour du corps humain, et un robot de forme similaire s'intègre plus facilement dans l'environnement existant.

Le projet le plus proche du consommateur est l'appareil IA développé avec Jony Ive.

Altman estime que l'IA pourrait donner naissance à une nouvelle catégorie d'appareils informatiques qui n'apparaît que toutes les quelques décennies. Les formes actuellement envisagées par OpenAI comprennent un appareil de bureau, un appareil de poche et un appareil porté sur le corps, mais ces produits ne seront pas lancés simultanément.

Il affirme clairement qu'il n'aime pas les lunettes intelligentes, car parler à des personnes portant une caméra et des voyants lumineux le met mal à l'aise. La feuille de route matérielle d'OpenAI ne reproduira donc pas simplement les lunettes IA grand public actuelles.

Plus important que la forme spécifique, le grand changement est l'« ordinateur proactif ». Les futurs appareils pourraient comprendre en continu l'environnement, les informations de l'utilisateur et ce qui se passe, et proposer une aide proactive, sans attendre que l'utilisateur ouvre une application et saisisse des instructions.

Ce modèle soulève aussi des questions de confidentialité plus aiguës. Un appareil capable de voir l'ordinateur, de lire les messages et de percevoir l'environnement en continu pourrait constituer une base de données d'informations personnelles extrêmement complète.

Altman plaide pour l'établissement d'un « privilège IA » similaire au secret médical ou au secret professionnel de l'avocat : le gouvernement ne devrait pas exiger arbitrairement que les entreprises remettent les historiques de conversation entre les utilisateurs et l'IA, et l'utilisation des données d'IA par les entreprises devrait être strictement limitée. Il reconnaît qu'à l'approche du lancement des appareils informatiques environnementaux, OpenAI devra publier de nouvelles technologies et mesures de contrôle de la confidentialité.

Quant au procès intenté par Apple concernant des talents et des secrets commerciaux, Altman indique qu'après une enquête interne, OpenAI estime que les employés concernés n'ont pas commis de faute, et que le procès ne devrait donc pas ralentir le développement des appareils.

La sécurité et l'alignement deviennent la nouvelle contrainte de croissance d'OpenAI

Interrogé sur le plus grand risque auquel OpenAI sera confrontée dans les 12 prochains mois, Altman n'a pas choisi la concurrence, le financement ou la puissance de calcul, mais « se tromper sur la sécurité, l'alignement et la sûreté ».

Cette phrase résume la contradiction centrale de tout l'entretien.

OpenAI estime que les capacités des modèles entrent dans une nouvelle phase d'accélération : Astra peut utiliser un ordinateur à un niveau proche de l'humain, les agents intelligents peuvent travailler en continu, l'IA commence à participer à la recherche scientifique et au développement de modèles, et la superintelligence passe d'un concept lointain à une possibilité à laquelle la direction doit se préparer à l'avance.

En même temps, l'évasion du modèle hors du bac à sable montre que l'amélioration des capacités n'apporte pas automatiquement la compréhension des intentions humaines. Plus le modèle peut planifier de manière autonome et appeler des outils, plus les écarts dans la définition des objectifs risquent d'être amplifiés.

OpenAI n'a pas cessé d'avancer. L'entreprise construit encore plus de puissance de calcul, fait progresser de nouveaux modèles, fusionne ChatGPT et Codex, et entre dans les domaines des puces, de la robotique et du matériel grand public. Mais d'après cet entretien, la sécurité et l'alignement commencent à devenir, comme la puissance de calcul, des conditions réelles qui limitent la vitesse de la recherche de pointe.

La sortie d'Astra dans les délais n'est qu'une question immédiate. Ce qui mérite davantage d'attention, c'est de savoir si, lors de la prochaine montée en capacités, OpenAI pourra encore freiner volontairement, et si ce mécanisme pourra résister aux pressions combinées de la concurrence, des revenus et des marchés financiers.