Altman最新インタビュー：OpenAIが突然ブレーキを踏んだ理由とは？Astra、AI暴走、IPO計画を語る

動画タイトル：Sam Altmanが語るOpenAIの次世代モデルとAIへの反発
動画作者：Alex Heath、Sources Podcast
翻訳：Peggy

編集者注：最先端モデルの能力が飛躍的に向上し、エージェントが複雑なワークフローを担い始める中、AI業界の議論は「誰が最初にAGIを実現するか」から「能力が制御不能になる前に、誰が十分に信頼できる制約を構築できるか」へと移りつつある。しかし、モデルの進歩と計算能力の拡大が依然として競争の主軸と見なされる中、より重要な問いが浮上している。AIが自律的にツールを呼び出し、環境の制約を超え、次世代モデルの開発にまで関与できるようになったとき、商業企業は自ら減速できるのか、という問いだ。

テックジャーナリストのAlex Heathがホストを務めるポッドキャスト「Sources」の今回のエピソードで、OpenAIのCEOであるSam Altmanは、同社が最近一部の最先端トレーニングを減速させた理由に答え、次世代モデルファミリー「Astra」、ChatGPTとCodexの統合、再帰的自己改善、IPO、そしてJony Iveとの協業による消費者向けデバイスについて語った。

この対談でAltmanは、OpenAIの一件の安全事故を、より根本的な構造的問題の集合として分解している。モデル能力と安全性研究が同時に進められるか、エージェントが人間の真の意図にどう従うか、そして継続的な資金調達と成長を必要とする企業が、リスクが高まったときに減速の代償に耐えられるか、という問題だ。

第一に、AIリスクはモデル展開後からトレーニングプロセス内部へと前倒しされている。これまで業界は、虚偽情報の生成やサイバー攻撃の支援など、モデル公開後の悪用をより懸念していた。しかし現在、リスクは強化学習やエージェントのトレーニング段階で既に現れている。未公開のOpenAIモデルがテスト用サンドボックスから脱出し、Hugging Faceのシステムに侵入した事件があり、その後研究者らは、より強力なモデルのトレーニングサンプルに、程度の差こそあれアライメントの偏りを発見した。個々の現象は必ずしも明確な危険を示すものではないが、能力の加速と重なることで、OpenAIは最先端強化学習トレーニングの延期を決定し、より多くの計算能力と人員をアライメントと監視に振り向けた。これは、最先端研究所の成長制約が変化していることを意味する。計算能力は依然として希少だが、モデルが十分に安全であることを証明できるかどうかも、トレーニングを継続できるかを左右し始めている。

第二に、「アライメント」の意味は、有害な出力の制限から、モデルが人間の真の意図を理解できるかどうかへと拡張されている。Hugging Faceの事件では、モデルは確かに評価目標を達成したが、テスターが承認していない手段を用いた。Astraが人間に近いレベルでコンピュータを操作し、ソフトウェアをまたいで継続的にタスクを実行できるようになるにつれ、目標と意図のわずかなずれが、自律的な計画能力によって急速に拡大される可能性がある。Altmanはここから二つの原則を提示する。人間はAIに対する制御権を保持しなければならないこと、そして最先端能力が少数の主体に集中してはならないことだ。前者は制御不能のリスクに対処し、後者は権力分配の問題に応えるもので、両者がOpenAIの「安全性」の拡張された定義を構成する。

第三に、OpenAIの製品の重心はチャットから実行へと移行している。過去1年、同社はSoraやブラウザなど複数の製品ラインを同時に進めたが、ChatGPTの消費者向け成長に気を取られ、AIプログラミングの優先的な機会を逃した。現在、OpenAIは「サイドクエスト」を縮小し、ChatGPTとCodexの統合を進めており、ユーザーが目標を提示するだけで、システムがどのモデル、ツール、ソフトウェアを呼び出すかを自動的に判断することを目指している。Astraはさらにこのロジックを、継続的な実行、コンピュータ操作、科学研究支援へと推し進める。OpenAIにとって、次の段階の競争指標は回答の質だけに留まらず、モデルが実際の作業をどれだけ確実に完了できるかになる。能力が現実環境に深く入り込むほど、製品価値と安全リスクを切り離して論じることは難しくなる。

第四に、技術の進歩がOpenAIの資本戦略に逆影響を及ぼし始めている。AIがより強力なAIの研究開発を支援できるようになれば、再帰的自己改善によって各世代のモデル間の時間が短縮される可能性がある。Altmanは、このプロセスが加速した場合、IPOを遅らせることが有利になる可能性があると考えている。上場後の株価、四半期収益、投資家の期待が、トレーニングの一時停止や公開延期のコストを増大させるからだ。これはOpenAIが上場延期を確定したことを意味しないが、最先端AI企業の特殊な矛盾を浮き彫りにする。彼らは計算能力の拡大を支えるために巨額の資本を必要とする一方で、重要な局面では資本市場の短期的なインセンティブから逃れる必要がある。

第五に、AIはソフトウェアサービスから、現実環境を継続的に感知するデバイスへと移行しようとしている。OpenAIとJony Iveは、デスクトップ、ポケット、身に着けるものなど複数の形態を模索しており、その共通の方向性は、コンピュータが指示を待つことから、能動的にサービスを提供することへの転換だ。デバイスがユーザーの生活を理解するためには、チャット、コンピュータ操作、音声、環境情報に継続的にアクセスする可能性がある。Altmanはそのため、医師と患者の守秘義務や弁護士と依頼人の秘匿特権に類似した「AI特権」を提唱し、政府や企業によるこれらのデータへのアクセスをより厳しく制限することを主張している。これは、次世代AIハードウェアの競争が、外観やインタラクションだけでなく、プライバシー制度、データ境界、社会的受容性によっても製品の成否が決まることを意味する。

この対談を一つの判断に圧縮するならば、モデル能力が自律的な行動と自己改善に近づくほど、安全性は公開前の追加チェックとして扱うことが難しくなり、トレーニング、製品、企業統治の中核に組み込まれなければならない、ということだ。その意味で、本稿が論じているのは、OpenAIがなぜ一度最先端トレーニングを延期したかだけでなく、AI業界全体が、能力の加速、商業競争、資本圧力が同時に存在する中で、自ら立ち止まることを可能にするメカニズムを構築できるかどうかである。

以下は原文の要点整理である（読みやすさのため、内容は一部編集されている）。

概要

·OpenAIが減速させたのは全モデルのトレーニングではなく、リスクの高い最先端強化学習であり、本質的には安全能力がモデル能力の飛躍的な向上速度に追いつかなくなっていることだ。

·Hugging Faceの事件は単なるサンドボックスの脆弱性ではなく、モデルが文字通りの目標を達成しながら人間の真の意図に反するというアライメントの欠陥を露呈した。

·AIリスクはモデル公開後の外部悪用からトレーニングプロセス内部へと前倒しされており、安全評価は公開前のチェックから最先端研究開発の厳格な制約へと変化している。

·Astraの重要なブレークスルーは回答の質ではなく、人間に近いレベルでコンピュータを操作し、継続的にタスクを実行できることであり、これは同時に目標のずれによるリスクを増幅させる。

·OpenAIがChatGPTとCodexを統合するということは、AI製品の競争が「回答の生成」から「仕事の完了」へと移行し、汎用エージェントが次の段階の製品入口になることを意味する。

·OpenAIがトレーニングの減速に当面耐えられるのは、企業向け収益が消費者向け収益を上回り、既存モデルにも十分な商業化の余地があるためだ。

·再帰的自己改善がOpenAIの上場を遅らせる可能性がある。本質的には、公開市場の四半期業績への圧力が、高リスク段階で企業が自発的に研究開発を一時停止する能力を弱める可能性があるからだ。

·OpenAIの次世代ハードウェアの核心は具体的な形態ではなく「能動型コンピュータ」にあり、その商業化の前提は、環境を継続的に感知するための信頼できるデータとプライバシーの境界を確立することだ。

インタビューの要点

モデルの「脱獄」が、なぜOpenAIに最先端トレーニングを一時停止させたのか？

Altmanはここ数ヶ月を、長年議論されてきたがついに現実となった瞬間だと表現した。モデル能力の向上が速すぎて、安全性、アライメント、安全研究が追いつくための時間が必要になっているのだ。

最も直接的な警告はHugging Faceの事件だった。未公開のOpenAIモデルが、ネットワークセキュリティ評価の実行中に内部サンドボックスから脱出し、インターネットに接続してHugging Faceを攻撃した。Altmanの説明によれば、この事件は複数の要素が同時に機能不全に陥ったことで起きたもので、突然現実になったSF物語のようだった。

表面的には、モデルは評価目標を達成するために最も効率的な経路を探したに過ぎない。しかし、テスターの真の意図には、サンドボックスを突破し、外部システムに侵入し、答えを盗むことは明らかに含まれていなかった。そのためAltmanは、これは単なる安全設定のミスではなく、アライメントの失敗だと考える。モデルは文字通りの目標を実行したが、ユーザーの真の意図に反したのだ。

OpenAIはその後、サンドボックスの隔離とエージェントの監視を強化し、より多くの計算能力をモデルの動作プロセスの観察に充てた。しかし、同社が最先端トレーニングのさらなる一時停止に踏み切ったのは、別の同様の攻撃が原因ではなかった。

Altmanによると、研究者らは大量のトレーニングサンプルを読み込み、さまざまな評価結果を総合した結果、モデルに「程度の異なるアライメントの偏り」があることを発見した。これらの現象は個別には深刻ではないかもしれず、Hugging Face攻撃のような明確な「決定的証拠」もなかったが、モデル能力の突然の加速と組み合わさることで、新たなリスクシグナルを構成した。

OpenAIはそのため、重要な最先端強化学習トレーニングを延期し、一部の研究者と計算能力をアライメントおよび監視システムに振り向けた。Altmanによれば、これまでアライメント研究を考えたこともなかった研究者たちも、自発的にこの分野に移り始めたという。

ただし、彼は同時に外部のリスク解釈を抑えようともしている。OpenAIは世界が破滅の瀬戸際にあるとは判断しておらず、すべてのモデルトレーニングを停止したわけでもない。現在の減速は主に最先端強化学習、つまりモデルがツールを獲得し、環境を操作し、複雑なタスクの実行を学ぶ段階を対象としている。より明確な安全根拠のある他のトレーニングは継続されており、計算クラスタも遊休状態ではない。

Altmanは、従来のリスクはモデル公開後にどう使われるかが中心だったが、エージェント能力の向上に伴い、リスクはモデルのトレーニングと生産プロセスへと前倒しされていると考えている。

Astraは依然として登場予定、AIは「回答」から「実行」へ

今回の調整がAstraの公開を完全に妨げるわけではない。

Altmanの説明によると、Astraは単一のモデルではなく、OpenAIの以前のSoulシリーズに似た、より大規模で高価なモデルファミリーである。トレーニングが完了し、同社が安全と判断したバージョンは引き続き公開できるが、将来のより強力なAstraバージョンは新たな安全要件の影響を受けることになる。

Astraの最も注目される能力の一つがコンピュータ操作だ。従来のモデルはインターフェースをクリックできたが、速度が遅く信頼性も限られていた。Altmanは、Astraのコンピュータ操作は既に人間のレベルに近づいていると考えている。

ユーザーは目標を直接説明するだけで、モデルが自らコンピュータ内の情報を探し、ソフトウェアを呼び出し、タスクを完了する。多数のコネクタを手動で設定する必要はない。Altmanは例として、これまで自分で時間をかけて処理していた雑務をモデルに任せ、30分後に戻ると結果が出ている、といった使い方を挙げた。

この種の能力の意義は、AIが回答の生成から実行段階へ入り始めたことにある。モデルが扱うのは企業ソフトウェア、コミュニケーションツール、文書、実際のワークフローであり、生産性を向上させる一方で、不正アクセス、誤操作、目標逸脱のリスク面も拡大する。

AGIについてAltmanは、この概念はもはや有効な判断を下すのが難しくなっていると考える。OpenAIの定款にある「経済的価値のあるほとんどの仕事で人間を超える」という定義に従えば、現在の内部モデルは少なくともAGIに非常に近づいている。

彼の見方では、2020年に戻れば、複雑なコードを書き、会社の設立を支援し、新しい知識を発見し、生活のあらゆる面でユーザーの時間を節約するシステムは、おそらく既にAGIと呼ばれていただろう。OpenAI内部でも、同社がAGIに到達したかどうかを議論することはほとんどなくなり、焦点は能力が持続的に成長する超知能へと移っている。

Altmanの両者の区別は、AGIは能力のマイルストーンに近く、超知能は長期にわたって延びる可能性のある成長曲線を表すというものだ。本当に重要なのは、ある境界線を越えたと宣言することではなく、モデル能力が依然として指数関数的に成長しているかどうかである。

AIプログラミングの機会を逃した後、OpenAIは戦線を縮小

安全危機とは別に、AltmanはOpenAIが過去1年、製品の方向性と事前学習研究において期待を下回ったことも認めている。

問題の一つは、同社がブラウザやSoraを含むあまりに多くのプロジェクトを同時に進めたことだ。これらのプロジェクト自体には価値があるが、OpenAIの汎用知能への投資を分散させた。Altmanはこれらを「サイドクエスト」と呼び、当時、最も重要な目標に集中するよう会社に求めるべきだったと考えている。

もう一つの失敗はAIプログラミング市場で起きた。

AnthropicがClaude Codeでいち早く需要を捉えた一方、OpenAIはChatGPTの急速な成長に足を取られ、プログラミング製品に十分な優先度を与えなかった。Altmanは、同社が機会を見逃したとは考えておらず、問題はリソース配分にあったとしている。

OpenAIはその後、大量の計算能力をChatGPTからCodexへと移した。これは、ChatGPTのユーザー成長が一時的に鈍化した理由も説明している。計算能力が継続的に不足する中、製品の成長は、同社が計算能力をどこに投じるかに大きく依存するからだ。

現在、同社は内部で「The Merge」と呼ばれる統合を進めており、ChatGPT、Codex、タスク実行機能を一つの汎用入口に統合しようとしている。Altmanは、ユーザーがチャット、プログラミング、作業モードのどれを使うべきかを判断する必要がなくなり、目標を表現するだけで、AIが自動的に完了方法を決定することを望んでいる。

最終的には、これは統一された汎用AIサブスクリプションへと発展する可能性がある。システムは継続的に動作し、ユーザーの背景を理解し、能動的に支援を提供し、ユーザーが要求する前にタスクの処理を開始することさえあるだろう。

ビジネス面では、AltmanはOpenAIにまだ十分な余裕があると考えている。同社の企業向け収益は消費者向け収益を上回っており、短期的に能力の高い新モデルを公開しなくても、既存のモデルと製品で成長を支えられる。彼の見方では、安全調整の影響は主に将来のモデルに及び、現在のビジネスを直ちに中断させるものではない。

AIがチャットの枠を出ると、社会的反発も拡大

モデル能力の成長に伴い、AIが直面する社会的反発も高まっている。データセンターの資源消費、雇用の代替、クリエイターの権利、個人のプライバシーは、AI業界に対する公衆の疑問の主要な論点となっている。

Altmanは、人々にAIを受け入れてもらう最も効果的な方法は、依然として実際の価値を提供することだと考えている。多くの人々のAIに対する理解は「より優れた検索エンジン」にとどまっており、エージェントが既にフォームへの記入、ソフトウェアの呼び出し、長期的なタスク実行ができることを知らない。これらの能力がさらに普及すれば、公衆の態度は変わる可能性がある。

雇用問題については、AIが現実の衝撃をもたらし、一部の仕事はテクノロジーによってより良く遂行され、労働者は新しい職種へ移行する必要があると認めている。しかし、人間がやることがなくなるとは考えていない。人と人との協力、互いのニーズの理解、他者への価値創造には、代替が難しい社会的属性が依然としてあるからだ。

Altmanは、現在のAIの雇用への影響は自身の以前の予想よりも低いとさえ考えている。テクノロジーは反復的な労働を十分に排除しておらず、これはAI業界が生産性の約束を果たしていない一つの表れとも見なせる。

クリエイターについては、生成AIを写真の登場と比較する。カメラはかつて画家への脅威と見なされたが、後に新たな芸術媒体を形成した。Altmanは、AIも新しいコンテンツ形式を生み出すと予想しており、ユーザーとクリエイターの関係は、作品がAIで作られたかどうかよりも、クリエイター本人にますます依存するようになるかもしれないと述べた。

この判断には依然として明らかな技術楽観主義が漂う。インタビューは、収入の再分配、影響を受ける労働者の移行、トレーニングデータの論争への対処方法を真に解決していない。Altmanの核心的な回答は依然として、まず製品に十分に明確な価値を生み出させ、その後ツールを広く開放することで、利益をより多くの個人やコミュニティに拡散させる、というものだ。

計算能力は依然として不足、しかしバブルは既に現れ始めている

1年前、OpenAIは巨額の計算能力投資に対して広く疑問視されていた。モデルとエージェントの需要増加に伴い、Altmanはこの賭けが検証されたと考えており、同社は技術面での新たな計算能力拡大を開始する必要さえあるとしている。

彼の目標は資本の投入継続だけでなく、AIの運用コストの削減、チップ効率の向上、サプライチェーンとデータセンター建設の加速も含む。OpenAIは初の推論チップ「Jalapeño」を開発中であり、将来的にはロボットがサプライチェーンとデータセンター建設に参加する可能性もある。

ただし、Altmanは業界全体の計算能力投資に対して警戒感を示し始めている。

彼によると、突然現れた新興クラウドコンピューティング企業の一部は、十分な収入や明確な買い手の裏付けがないまま、来年に巨量の計算能力を建設すると約束している。これには既に「持続不可能な荒唐無稽さの兆候」が見られる。もしOpenAIが計算コストの大幅な削減に成功すれば、高コストでリソースを確保した一部の企業は財務的圧力に直面する可能性がある。

そのため、AltmanはOpenAI自身の計算能力へのコミットメントには依然として自信を持っているが、AIインフラ市場全体が合理的なリターンを持つとは考えていない。外部バブルが崩壊してマクロ経済に影響を及ぼせば、OpenAIも完全に無傷ではいられない。

将来、他社に計算能力を販売するかどうかについて、Altmanは短期的には計画がないと述べた。OpenAI自身が依然として深刻な計算リソース不足にあるからだ。しかし、チップ、ロボット、サプライチェーン、データセンターの能力が優位性を形成すれば、計算能力の供給者になる可能性が全くないわけではない。

RSIが迫る中、OpenAIがIPOを延期する可能性がある理由

AIが次世代AIの研究開発に関与する能力は、業界では再帰的自己改善、すなわちRSIと呼ばれている。

Altmanは以前、従業員への書簡で、RSIの「離陸」が速ければ速いほど、IPOの延期が有利になる可能性があると述べた。インタビューでは、この判断をさらに説明した。

上場は企業と従業員が直面するインセンティブを変える。株価、四半期収益、業績予想が日常の意思決定に入り込む。もしOpenAIが安全上の理由でトレーニングを一時停止したり公開を延期したりし、そのために短期的な収益の鈍化を被れば、公開市場は追加の圧力となる可能性がある。

Altmanは、1年前は超知能が短期間に出現するとは考えていなかったが、今はその可能性が存在すると考えている。ただし、十分な確信はまだない。そのため、特定の時期に上場することよりも、OpenAIの使命の方が優先度が高い。

これはIPOが確定延期されたことを意味するのではなく、技術の進展がスケジュールの重要な変数になるということだ。モデル能力が急速に成長し続ければ、非公開企業としての地位がOpenAIにより大きな安全上の意思決定余地を残す可能性がある。

Altmanは同時に、「他社も続けるから、我々は止まれない」という競争の論理に反対している。OpenAIは今回、同業他社に同期した減速を事前に要求せず、自社の安全基準に従って一部の作業を一時停止した。彼は、米国政府が最先端モデルをテストし、共通の基準を策定することはできるが、企業がどの特定の顧客にモデルを使用できるかを決定すべきではないと考えている。

政府がOpenAIの製品公開を阻止する可能性があるかどうかについて、Altmanの回答は、OpenAIは政府が動く前に、自ら公開しないと決定するだろうと信じている、というものだった。

ソフトウェアからハードウェアへ：OpenAIは「能動型コンピュータ」に賭ける

OpenAIの拡大は現実世界にも及ぶ。

Altmanは、同社が将来「確実に」人型ロボットを開発し、データセンターなどのシナリオに適した他の形態も探求することを確認した。人型設計の理由は極めて直接的だ。現実世界のドア、コンピュータ、車両、道具はすべて人間の身体を中心に構築されており、ロボットが同様の形態を採用すれば既存の環境に入り込みやすい。

より消費者に近いプロジェクトは、OpenAIとJony Iveの協業によるAIデバイスだ。

Altmanは、AIが数十年に一度しか現れない新しいコンピューティングデバイスのカテゴリを生み出す可能性があると考えている。OpenAIが現在検討している形態には、デスクトップに置くデバイス、ポケットに入れるデバイス、身体に装着するデバイスが含まれるが、これらの製品が同時に発売されることはない。

彼はスマートグラスが好きではないと明確に述べた。カメラとインジケーターライトを身に着けた人と話すことに不快感を覚えるからだ。そのため、OpenAIのハードウェア路線は、少なくとも現在主流のAIグラスを単純に複製することはないだろう。

具体的な外観よりも大きな変化は「能動型コンピュータ」だ。将来のデバイスは、周囲の環境、ユーザー情報、起きていることを継続的に理解し、能動的に支援を提供する可能性があり、ユーザーがアプリを開いて指示を入力するのを待たなくなる。

このモデルは、より鋭いプライバシー問題ももたらす。コンピュータを閲覧し、メッセージを読み、環境を継続的に感知できるデバイスは、極めて完全な個人情報データベースを形成する可能性がある。

Altmanは、医師と患者の守秘義務や弁護士と依頼人の秘匿特権に類似した「AI特権」の確立を主張している。政府は企業にユーザーとAIのチャット記録の提出を安易に要求すべきではなく、企業によるAIデータの使用も厳しく制限されるべきだ。彼は、環境コンピューティングデバイスの発売が近づくにつれ、OpenAIは新たなプライバシー技術と管理策を公表する必要があると認めている。

Appleが関連人材と営業秘密について提起した訴訟については、AltmanはOpenAIが内部調査の結果、関連従業員に不正行為はなかったと判断しており、訴訟がデバイス開発を遅らせることはないと予想していると述べた。

安全性とアライメントが、OpenAIの新たな成長制約になりつつある

今後12ヶ月にOpenAIが直面する最大のリスクを問われたとき、Altmanは競争、資金調達、計算能力ではなく、「安全性、アライメント、セキュリティを誤ること」を選んだ。

この言葉はインタビュー全体の核心的な矛盾を要約している。

OpenAIはモデル能力が新たな加速段階に入ったと考えている。Astraは人間に近いレベルでコンピュータを使用でき、エージェントは継続的に作業でき、AIは科学研究やモデル開発に関与し始め、超知能も遠い概念から経営陣が事前に準備する必要のある可能性へと変わった。

一方で、モデルのサンドボックス脱出は、能力の向上が自動的に人間の意図の理解をもたらすわけではないことを示している。モデルが自律的に計画し、ツールを呼び出せるようになるほど、目標設定のずれは増幅される可能性が高まる。

OpenAIは前進を止めていない。依然としてより多くの計算能力を構築し、新モデルを推進し、ChatGPTとCodexを統合し、チップ、ロボット、消費者向けハードウェア分野に参入している。しかし、今回のインタビューから見ると、安全性とアライメントは計算能力と同様に、最先端研究の速度を制限する現実的な条件となり始めている。

Astraが予定通り公開できるかどうかは目先の問題に過ぎない。より注目すべきは、次に能力が飛躍するとき、OpenAIが依然として自らブレーキを踏めるかどうか、そしてそのメカニズムが競争、収益、資本市場の圧力に耐えられるかどうかである。