七位聯創座談，Anthropic 是如何誕生的？
整理 & 編譯：深潮 TechFlow
嘉賓：Anthropic 聯創 Chris Olah、Jack Clark、Daniela Amodei、Sam McCandlish、Tom Brown、Dario Amodei、Jared Kaplan
conversion：Anthropicco-founders
播出日期：2024年 12月 20 日
要點總結
過去一周，Anthropic 連續出了兩次事故：
先是內部近 3000 份文件因 CMS 配置錯誤被公開訪問，緊接著 Cude. map，51 萬行源碼直接裸奔。
一家把「安全」寫進基因的公司，在自家維運上連續翻車，諷刺感拉滿。
但在急著嘲諷之前，不妨回頭聽聽 Anthropic 七位聯創一年多前的一次內部對談。 這期播客錄於 2024 年 12 月，七個人聊了這家公司是怎麼建立起來的、RSP （Responsible Scaling Policy，直譯「負責任的擴展政策」）是怎麼磨出來的、「安全」這個詞為什麼不能隨便用、以及 CEO Dario 那句被反覆引用的話：
「如果一棟大樓每週都響火警，那它其實是一棟非常不安全的建築。」
現在再聽這句話，滋味確實不太一樣。
七位聯創，快速認臉
Dario Amodei｜CEO，前 OpenAI 研究副總裁，神經科學出身，Anthropic 戰略和安全路線的最終拍板人。 這場對話裡發言最多。
Daniela Amodei｜總裁，Dario 的姊姊。 先前在 Stripe 做了五年半，帶過信任與安全團隊，更早在非營利和國際發展領域工作。 Anthropic 的組織搭建和對外溝通基本上由她主導。
Jared Kaplan｜物理學教授轉 AI 研究者，scaling laws 核心作者之一。 常從局外人視角提供判斷，自稱當初做 AI 是因為「做物理做膩了」。
Chris Olah｜可解釋性（interpretability）研究的代表人物，19 歲進灣區 AI 圈，先後在 Google Brain 和 OpenAI 工作。 Anthropic 裡科技理想主義色彩最濃的人。
Tom Brown｜GPT-3 論文一作，現在管 Anthropic 的算力資源。 視角偏工程和基礎設施，播客裡聊了不少他從「不太信 AI 會這麼快」到改變看法的過程。
Jack Clark｜前彭博科技記者，Anthropic 政策與公共事務負責人。 這場對話裡充當主持人，負責串謀和追問。
Sam McCandlish｜研究聯創，全場發言最少但常一句話點到要害，屬於「補刀位」。
精彩觀點摘要
為什麼要做 AI：從物理無聊到“看夠了就信了”
Jared Kaplan：“我之前做了很久物理，有點無聊了，也想和更多朋友一起工作，所以就做 AI了。 AI 模型結果。 到某個時候，我給你看得夠多了，你就說'嗯，這看起來是對的'。 Amodei：「我過去十年最深教訓是：很多『大家都知道』的共識，其實是羊群效應偽裝成成熟。你見過幾次共識被一夜翻轉後，就會說：不，我們就押這個。哪怕你只有 50% 正確，也會貢獻很多別人沒貢獻的東西。」
安全與規模化是纏繞在一起的大小。 Amodei：「我們當時把模型擴大的動機之一，就是模型得先足夠聰明，RLHF 才能做起來。這就是我們現在仍然相信的：安全和規模化是纏繞在一起的。」
RSP ，負責任的擴展政策是 Anthropic 的「憲法」
RSP ，負責任的擴展政策是 Anthropic 的「憲法」來說，就像是我們的憲法。 Amodei：「我們不能隨便用『安全』這個詞來左右工作進展。我們真正的目標是讓大家清楚地知道我們所指的安全是什麼。」
Dario Amodei：「真正損害安全的往往是那些頻繁的『安全演練』。如果有一棟大樓，每週都會響起火警警報，那麼這其實是一棟非常不安全的建築。」
「高尚的失敗」是個陷阱
Chris Olah：「有一種說法認為，最道德的行為是為了安全而犧牲其他目標，以此來展示自己對事業的純粹性。但這種方式其實是自我挫敗的。因為這會導致決策權落入那些不重視安全的人手中。」
聯創們承諾捐出 80% 捐給能夠推動社會發展的事業，這是大家都毫不猶豫支持的事。 Amodei：「我們的使命既清晰又純粹，在科技業中這樣的情況並不常見。」
可解釋性：神經網路裡藏著一整套「人工生物學」
Chris Olah：「神經網路非常美妙，其中有許多我們還沒有看到的美。我有時會想像，十年後走進一家書店，買一本關於神經網路生物學的教科書，書中會有各種令人驚嘆的內容。」
AI 用於增強民主，而不是成為獨裁工具
Dario Amodei：「我們擔心它如何成為獨裁工具
Dario Amodei：「我們可能會擔心它。 成為促進自由和自決的工具？ AlphaFold，我們應該努力開發能夠幫助我們創造出數百個 AlphaFold 的工具。
Jack Clark：我們為什麼一開始要做 AI？ Jared 為什麼要做 AI？
Jared Kaplan：
我之前做了很久物理，有點無聊了，也想和更多朋友一起工作，所以就做 AI 了。
Tom Brown：
我還以為是 Dario 說服你的。
Dario Amodei：
我不覺得我有明確「說服」過你，我只是一直給你看 AI 模型結果，想表達它們很通用，不只適用於單一問題。 到某個時候，我給你看得夠多了，你就說「嗯，這看起來是對的」。
Jack Clark：Chris，你做可解釋性研究那會兒，是在 Google 認識大家的嗎？
Chris Olah：
不是。 其實我 19 歲第一次來灣區時就認識了你們中的不少人。 我那時見到 Dario 和 Jared，他們是博士後，當時我覺得特別酷。 後來我在 Google Brain，Dario 加入後我們還並排坐過一陣子，我也和 Tom 一起工作過，再後來去 OpenAI 就和你們所有人一起做事了。
Jack Clark：
我記得我 2015 年在會議上見到 Dario 想訪問你，Google PR 還說我要先把你論文都讀完。
Dario Amodei：
我當時在 Google 寫《Concrete Problems in AI Safety》。
Sam McCandlish：
我開始跟你共事前，你還邀我去辦公室聊，像是把 AI 整體講了一遍。 我記得聊完後我想：「原來這事比我意識到的嚴肅得多。」你當時講了「大算力團塊」、參數數目、人腦神經元規模這些。
突破性的擴展
Jack Clark：我記得在 OpenAI 做 scaling laws 時，把模型做大開始真的有效，而且在專案上都持續、詭異地有效，從 GPT-2 到 scaling laws 到 GPT-3，我們就這樣好多
Dario Amodei：我們就是那團「把事做成的人」。
Jared Kaplan：我們也都很興奮於安全，那會兒有個想法：AI 會很強，但可能不理解人類價值，甚至不能和我們溝通。 語言模型某種程度上能保證它得理解很多隱性知識。
Dario Amodei：
還有語言模型之上的 RLHF，我們當時把模型擴大的動機之一，就是模型得先足夠聰明，RLHF 才能做起來。 這就是我們現在仍然相信的：安全和規模化是纏繞在一起的。
Chris Olah：
對，當時 scaling 工作其實也是安全團隊的一部分。 因為我們覺得，想讓人認真對待安全，首先要能預測 AI 趨勢。
Jack Clark：我記得我在英國某機場，從 GPT-2 採樣寫假新聞，然後在 Slack 上發給 Dario 說“這真能用，可能有巨大政策影響”，我記得 Dario 回復是“是的”。
之後我們也做了很多發布相關工作，那很瘋狂。
Daniela Amodei：
我記得發布那段，那是我們第一次真正開始合作，GPT-2 當時發布。
Jack Clark：
我覺得那對我們很有幫助，我們先一起做了一個「有點奇怪但安全導向」的事，後來又一起做了 Anthropic，一個更大規模、同樣有點奇怪但安全導向的事。
AI 的起步階段
Tom Brown：回到《Concrete Problems》這篇文章上來。 我 2016 年進 OpenAI，當時你我都是最早那批人，我當時感覺那篇像第一個主流 AI 安全論文。 它怎麼來的？
Dario Amodei：
Chris 知道，他參與了。 我們那時在 Google，我都忘了我當時主項目是什麼了，這篇像是我拖延出來的。
我們想寫下 AI 安全有哪些開放性問題。 當時 AI 安全總被講得很抽象，我們想把它落到當時真實 ML 上。 現在已經有六、七年這條線工作了，但那樣會兒這就是個怪想法。
Chris Olah：
我覺得它某種意義上幾乎是個政治項目。 那時很多人不把安全當一回事。 我們想整理一份大家認可合理的問題清單，很多本來就存在於文獻裡，然後找跨機構有公信力的人共同署名。
我記得我花了很長時間，和 Brain 里二十多位研究者溝通，為發表爭取支持。 如果只看問題本身，今天回頭看未必都成立，可能不是最對的問題。 但如果把它看成共識建設：證明“這裡有真實問題，值得認真對待”，那麼它是重要時刻。
Jack Clark：
最終你會進入一個非常奇特的科幻世界，我記得 Anthropic 早期講 Constitutional AI，Jared 說「我們給語言模型寫一部憲法，它行為就會改變」。 當時聽起來很瘋狂。 為什麼你們覺得可行？
Jared Kaplan：
我跟 Dario 討論了很久，我覺得 AI 簡單方法常常效果極佳。 最早版本挺複雜，後來不斷削減，最後變成：利用模型擅長做選擇題這點，給它明確提示告訴它要找什麼這就夠了，然後我們可以把原則直接寫下來。
Dario Amodei：
這回到「大算力團塊」（The Big Blob of Compute）「慘痛教訓」（The Bitter Lesson）「規模化假設」（Scaling Hypothesis）：只要你能給 AI 一個清晰目標學會與數據，它就能學會。 一組指示、一組原則，語言模型能讀它們，也能把它們和自身行為對照，訓練目標就在那裡。 所以我和 Jared 的看法是：有辦法做成，只要細節反覆調。
Jared Kaplan：
對我來說早期很奇怪。 我從物理轉來，現在大家都興奮於 AI，容易忘了當時氛圍。 我當時和 Dario 聊這些，感覺很多 AI 研究者被 AI 寒冬心理傷得很重，好像「有野心」是不被允許的。 討論安全要先相信 AI 可能非常強、非常有用，但當時有種反雄心禁令。 物理學家一個優點是“傲慢”，他們常做很雄心的事，習慣談宏大圖景。
Dario Amodei：
我覺得這是真的，2014 年很多話就是不能說。 這也像學術界普遍問題，除了某些領域外，機構越來越厭惡風險，工業 AI 也繼承了這種心態，我覺得直到 2022 年左右才走出來。
Chris Olah：
還有「保守」的兩種形式：一種是認真看待風險，另一種是把認真對待並相信想法可能成功視為傲慢。 我們當時處於後者主導。 歷史上 1939 年核子物理討論裡也類似：Fermi 抵觸，Szilard 或 Teller 更認真看待風險。
Dario Amodei：
我過去十年最深教訓是：很多「大家都知道」的共識，其實是羊群效應偽裝成成熟。 你看過共識幾次一夜翻轉後，就會說：不，我們就押這個。 也許不一定對，但忽略噪音去下注。 就算你只有 50% 正確，也會貢獻很多別人沒貢獻的東西。
大眾對人工智慧的態度轉變
Jared Kaplan：今天在一些安全議題上也這樣：外界共識覺得很多安全問題不自然會從技術裡長出來，但我們在 Anthropic 做研究看到它確實會自然長出來。
Daniela Amodei：
但過去 18 個月這在變化，同時世界對 AI 的情緒也在明顯變化，我們做用戶研究時，更常聽到普通用戶擔心 AI 對世界整體影響。
有時是工作、偏見、毒性，有時是“它會不會把世界搞亂、改變人類協作方式”，這其實我都沒完全預料到。
am McCandlish：
不知為何，ML 研究圈常比大眾更悲觀「AI 變很強」。
Jared Kaplan：
2023 年我和 Dario 去白宮，會議裡 Harris、Raimondo 基本上意思是：我們盯著你們，AI 是大事，我們在認真關注，但 2018 年你不會想到「總統會叫你去白宮說他們在關注語言模型」。
Tom Brown：
有趣的是，我們很多人是這件事看起來還不確定時就入場的，像 Fermi 對原子彈持懷疑態度一樣，有一些證據表明原子彈可能會被製造出來，但也有很多證據表明它不會，但他最終決定一試。 因為如是真的，影響會很大，所以值得做。
2015-2017 有一些且不斷增加的證據證明 AI 可能是件大事，我 2016 年和導師聊：我做過創業，想做 AI 安全，但數學不夠強，不知道怎麼辦。 當時有人說你得精通決策理論；有人說不會出現瘋狂 AI 事件，真正支持的人很少。
Jack Clark：
我 2014 年做 ImageNet 趨勢報道被當瘋子。 2015 年的時候我想寫 NVIDIA 因論文都提 GPU，也被說瘋了；2016 離開新聞去 AI，還有郵件說「你犯了人生最大錯誤」。 當時從很多角度看，認真押注「規模化會成」確實像瘋子。
Jared Kaplan：你是怎麼決定的？ 糾結嗎？
Jack Clark：
我做了個反向下注：提要求做全職 AI 記者併工資翻倍，我知道他們不會答應。 然後睡一覺就辭職。 因為我每天都在讀檔案文件，我總覺得有件瘋狂大事在發生，某個時點你就該高信念下注。
Tom Brown：
我沒那麼果斷，我搖擺了六個月。
Daniela Amodei：
而且那時「工程師也能顯著推動 AI」這件事並不主流。 當時是“只有研究員才能做 AI”，所以你的猶豫不奇怪。
Tom Brown：
後來 OpenAI 說“你可以透過工程幫助 AI 安全”，那才讓我加入。 Daniela 你在 OpenAI 還是我經理，你當時為什麼加入？
Daniela Amodei：
我在 Stripe 五年半，Greg 曾是我老闆。 我還介紹過 Greg 和 Dario 認識。 當時他正在創立 OpenAI，我對他說：「我認識的最聰明的人是 Dario。如果你能讓他加入團隊，那真是你的幸運。」後來，Dario 就加入了 OpenAI。
或許跟你一樣，我也在思考從 Stripe 離開後，自己想做些什麼。 我之所以加入 Stripe，是因為之前在非營利組織和國際發展領域工作時，我覺得自己需要更多技能，其實當時我還以為自己最終會回到那個領域。
加入 Stripe 之前，我覺得自己沒有足夠的能力去幫助那些比我條件差的人。 所以我在關注其他科技公司，希望找到一種新的方式來產生更大的影響，而當時的 OpenAI 則讓我覺得它是一個很好的選擇。 它是一個非營利組織，致力於實現一個非常重要且具有遠大意義的目標。
我一直很相信 AI 的潛力，因為我對 Dario 也有一些了解，而且他們確實需要有人來幫忙管理，所以我覺得這份工作和我的背景非常契合。 我當時心想：「這是一個非營利機構，這裡聚集了一群非常優秀、懷抱美好願景的人，但他們的運作似乎還有些混亂。」而正是這種挑戰讓我感到興奮，因為我可以加入進去。
當時我覺得自己像是個全能型選手，不僅負責管理團隊成員，還要帶領一些技術團隊，還有擴展組織的管理，我負責組織擴展工作，也曾在語言團隊工作過，後來還接手了一些其他任務。 我也參與了一些政策上的事務，也和 Chris 一起合作過。 我覺得公司裡有很多優秀的人才，這讓我特別想加入進來，幫助公司變得更有效率、更有條理。
Jack Clark：我記得做完 GPT-3 後你說「你們聽過 trust and safety 嗎？」
Daniela Amodei：
我以前在 Stripe 帶過 trust and safety 團隊。 對於像這樣的技術，你們可能需要考慮一下信任與安全這個問題。 這其實是人工智慧安全研究 (AI Safety Research) 和更務實的日常工作之間的一個橋樑，也就是說，如何讓模型變得真正安全。
提出「這項技術未來會產生重大影響」是非常重要的。 同時，我們也需要在日常中進行一些更實際的工作，為未來面對更高風險的場景奠定基礎。
負責任的擴展政策：確保 AI 的安全發展
Jack Clark：這正好聊一聊負責任的擴展策略 (RSP，Responsible Scaling Policy)」是如何提出的，為什麼我們會想到它，以及我們現在是如何應用它的，特別擴展是考慮到我們在模型的負責任與安全方面的工作策略。 是誰先提出來的？ 年底。 具備相應的安全能力。 親自設計了這個策略 當然，隨著時間的推移，其中的許多細節也發生了變化。 把這個概念整理成型後，他幾乎是在宣布這個概念的同時，我們也在一兩個月內發布了自己的版本。 來說，就像是我們的「憲法」。 Dario、Paul、Sam 和 Jared 等人負責，他們在思考：「我們的核心原則是什麼？ 我們想要傳遞什麼樣的訊息？ 我們如何確定自己的方向是正確的？ 」
但除此之外，還有非常實際的操作層面的工作，比如在不斷迭代過程中，我們會評估並調整一些細節。比如，我們原本預計在某個安全級別下會達到某些目標，但如果沒有實現，我們就會重新評估，並確保我們能夠對自己的工作結果負責。
此外，還有很多與組織架構相關的重新調整。 的組織結構，以便更清晰地劃分責任。 McCandlish：
我認為，這其實反映了我們對安全問題的一種核心觀點：安全問題是可以解決的。 精力。 AI 安全所需的關鍵制度，並率先在我們這裡建立起來，同時確保這些制度可以被其他地方借鑒和推廣。 會阻止他們繼續推進那些不符合安全標準的計劃。 Clark：
隨著時間的推移，RSP 變得越來越重要。 」他們的反應通常是：「這聽起來很正常。 難道不是每家公司都這樣做的嗎？ 「這讓我有些哭笑不得，其實並不是每家公司都這樣做。
Daniela Amodei：
此外我認為除了推動團隊的價值觀一致性之外，RSP 也增強了公司的透明度。 化和改進它。 「我們真正的目標是讓大家清楚地知道我們所指的安全是什麼。
Dario Amodei：
從長遠來看，真正損害安全的往往是那些頻繁的「安全演練」。我曾說過：「如果有一棟建築物，每週都會響起一個火警警報，那麼這其實是一棟非常不安全的建築其實是一棟非常不安全的建築。 「因為當真正發生火災時，可能沒人會在意，我們必須非常注重警報的準確性和校準。
Chris Olah：
換個角度來看，我覺得 RSP 在很多層面上都創造了健康的激勵機制。例如在公司內部，RSP 將每個團隊的激勵機制與安全目標對齊，這意味著，如果我們在安全方面沒有取得足夠的進展，相關工作就會被暫停。 提供了一個清晰的框架和證據支持這一決定。 Kaplan：
我同意這些觀點，但我覺得這可能低估了我們在製定正確政策、評估標準以及劃定界限時所面臨的挑戰。 開發初期感到非常興奮，現在依然如此。 McCandlish：
灰色地帶是無法完全預測的，因為它們無所不在。 Amodei：
你必須你必須進行三到四次迭代才能真正做到完美，迭代是一個非常強大的工具，你幾乎不可能第一次就完全正確，所以如果面臨的風險在不斷增加，你需要儘早完成這些迭代，而不是等到最後。 Clark：
同時，你還需要建立內部的製度和流程。 的計算資源管理，對我來說我們需要與外部的利益相關者進行溝通，不同的外部人士對技術發展的速度有著不同的看法。 」如果他們說：「我認為事情在很長一段時間內都不會變得緊急。 」我就可以回應說：「好的，那我們暫時不需要採取極端的安全措施。 「這讓與外界的溝通變得更加順暢。
Jack Clark：
那麼，RSP 還在哪些方面對大家產生了影響呢？
Sam McCandlish：
一切都圍繞著評估，每個團隊都在進行評估。 McCandlish：
評估模型的最低能力相對容易，但評估模型的最高能力則非常困難。 是否存在我們尚未考慮到的某些方法，例如心智圖、最佳事件 (best event) 或某些工具的使用，這些會不會讓模型能夠執行一些非常危險的行為？ 」
Jack Clark：
在政策制定過程中，這些評估工具非常有幫助。因為「安全」是一個非常抽象的概念，而當我說：「我們有一個評估工具，它決定了我們是否可以部署這個模型。 「然後，我們可以與政策制定者、國家安全專家以及 CBRN (化學、生物、放射和核領域) 的領域專家進行合作，共同製定精確的評估標準。如果沒有這些具體的工具，這些合作可能根本無法實現。但一旦有了明確的標準，人們就會更願意參與其中，幫助我們確保其準確性。所以在這方面，RSP 的作用非常顯著。 對我來說也非常重要，而且經常影響我的工作。 是一份公司裡每個人都能輕鬆理解的文件，那就會好得多。 過度技術化，只有少數人能夠理解，那麼它的實際效用就會大打折扣。 我希望我們在以下這些原則的指導下開發 AI，我也明白為什麼要關注這些問題。 如果我在工作上遇到問題，我大致知道該注意什麼。 「我們希望讓 RSP 足夠簡單，就像在製造工廠工作的人能夠輕鬆判斷：「安全帶應該連接在這裡，但現在沒有連接到位。 」從而及時發現問題。
關鍵在於建立一個健康的反饋機制，使領導層、董事會、公司其他部門以及實際從事研發工作的團隊之間能夠順暢交流。我認為，大多數問題的產生往往是因為溝通不良或訊息 傳遞出現了偏差。 的創立故事 Sam McCandlish：其實我們中沒有誰一開始就有創辦公司的意願。 Amodei：
我最初的想法很簡單，我只是希望透過某種有益的方式去發明和探索新事物。 的研究需要大量的工程技術支持，最終也需要大量的資金支持。 Kaplan：
還記得我們在研究生院的時候，你曾經有一個完整的計劃，試圖探索如何通過科學研究來促進公共利益。 研究對資金的高需求，再加上身為物理學教授，我意識到自己無法單靠學術研究來推動這些進展。 的發展能夠朝著正確的方向前進。 但老實說，我從來不會建議別人去創辦一家公司，也從未有過這樣的願望。 Amodei：我常常思考我們作為團隊的策略優勢，其中一個可能聽起來有些意外，但卻非常重要的因素就是我們之間的高度信任。 Anthropic，我們能夠成功地將這種使命感傳遞給越來越多的人。 得我們正在努力實現的目標充滿了一種純粹的意義，我們沒有人是因為想要創辦公司而開始的。 Clark：
當時，隨著 GPT-3 的出現，以及我們所有人都接觸過或參與過的項目，例如擴展法則 (scaling laws) 等等，我們在 2020 年已經清楚地看到了 AI 的發展趨勢。 Brown：
我想延續 Daniela 的觀點，我確實認為團隊內部存在著高度的信任。 」這種信任是非常特別且稀有的。
Daniela Amodei：
我覺得 Anthropic 是一個政治色彩非常淡薄的公司。當然，我們的視角可能與普通人有所不同，我也時刻提醒自己這一點。我認為，我們的招聘流程和團隊成員的特質，使得這裡的文化幾乎對「法」
B
還有團隊的團結性，團隊的團結性至關重要。 內部的不同部門各自追求完全不同的目標時，往往會導致混亂。 RSP 這樣的機制在其中發揮了重要作用。 安全研究。 實驗室未必對世界有利，這讓我對離開感到非常猶豫。 Amodei：
我們早期學到的一個重要教訓是：少做承諾，多兌現承諾。 當我因安全原因堅持不發布某些產品時，同時看到 Vinay 在討論如何平衡業務需求以推動專案完成時，我感到非常特別。 Amodei：
一個健康的組織文化在於，每個人都能夠理解並接受共同面臨的權衡取捨。 我們所處的世界並不完美，每個決策都需要在不同的利益之間找到平衡，而這種平衡往往不可能完全令人滿意。 McCandlish：
從某種意義上來說，這是一場「向上的競賽」。 」
競逐 AI 的巔峰
Jack Clark：但市場本質上是務實的，因此，Anthropic 作為一家公司越成功，其他人就越有動力去效仿那些讓我們取得成功的做法。 Amodei：
但是，如果你說：「我們不會開發這項技術，而你也無法比其他人做得更好。 「這種方式是行不通的，因為你沒有證明從現狀到未來的路徑是可行的。世界需要的是，無論是行業還是某一家公司，都需要找到一種方法，讓社會能夠從「技術不存在」過渡到「技術以強大的形式存在，並且被社 會有效地管理」。我認為，唯一能夠實現這一目標的方式，是在單一公司層面，甚至最終在整個行業層面，直面這些權衡。
你需要找到一種方法，既能保持競爭力，甚至在某些領域引 領行業，同時又能確保技術的安全性。如果你能夠做到這一點，那麼你對行業的吸引力將會非常強大。 Kaplan：
我認為，這就是為什麼像 RSP 這樣的機制如此重要的原因。 「我們需要找到一種方法，使 AI 技術能夠為客戶帶來有用、創新且令人愉悅的體驗，同時明確我們必須堅持的約束條件，這些條件既能確保系統的安全性，也能讓其他公司相信，他們也可以在安全的前提下實現成功，並與我們競爭。
Dario Amodei：我們推出最知名的後幾個月，Pstrong>PpSP>隨著我們推出最知名的 AISP> PSP>。 公司也紛紛推出了類似的機制。 Amodei：
Jack 之前也提到過，客戶也非常關心安全問題。 「我認為，這對市場的影響是巨大的。我們能夠提供值得信賴和可靠的模型，這也給競爭對手帶來了不小的市場壓力。
Chris Olah：
或許可以進一步展開 Dario 剛才的觀點。 p>首先，這種方式會導致決策權落入那些不重視安全、不優先考慮安全的人手中。 Dario 所描述的「向上的競賽」。 Olah：
我覺得有很多理由可以讓人對可解釋性感到興奮。 是我認為神經網路非常美妙，而且其中有許多我們還沒有看到的美。 我們總是把神經網路當作一個黑盒子，對它的內部結構並不特別感興趣，但當你開始深入研究它們時，會發現它們內部充滿了令人驚嘆的結構。
這有點像人們看待生物學時的態度，有些人可能會覺得，「演化很無聊，它只是一個簡單的過程，運行了很長時間，然後創造了動物。 「但實際上，進化所創造的每一個動物都充滿了令人難以置信的複雜性和結構。而我認為，進化是一種優化過程，就像訓練一個神經網絡一樣。神經網絡內部也有整個類似於“人工生物學”的複雜結構。如果你願意深入研究它們，你會發現其中有許多令人驚嘆的東西。
我覺得，我們才剛剛開始揭開它的面紗，裡面有太令人難以置信，裡面有它是如此的令人難以置信，裡面有它是如此令人難以置信的面紗。 多東西等待我們去發現。
Jack Clark：
幾年前，如果有人說：「政府將會設立新的機構來測試和評估 AI 系統，而且這些機構會非常專業並發揮作用。 「你可能不會相信這是真的。但這已經發生了。可以說，政府已經建立了應對這一新型技術類別的“新大使館”，我很期待看到這會走向何方。我認為，這實際上意味著國家有能力應對這樣的社會轉型，而不僅僅是依靠企業，我很高興能夠參與其中。
Daniela Amodei>這一點 能夠為人類做些什麼，就很難不感到激動。 能夠幫助完成我那時效率低下的工作，那將是多麼令人驚嘆的事情。
Tom Brown：
我想，從個人角度來說，我非常喜歡在工作中使用 Claude。 來寫程式碼，但現在這種情況已經發生了顯著變化。 」結果幾乎 95% 的人都舉起了手。幾乎全場的人都舉手了，這和四個月前的情況完全不同。
Dario Amodei：
當我思考讓我感到興奮的事情時，我會想到比如我之前提到的似乎已經達成共識，但實際上這種共識即將被打破的地方，其中之一就是可解釋性。
因為我曾經是一名神經科學家，而許多我們尚未解決的心理疾病，比如精神分裂症或情緒障礙，我懷疑它們與某種更高層次的系統問題有關。 在生物學中的應用。 被錯誤地開發，它可能會成為獨裁主義的工具。 Anthropic，是因為他們對 AI 科學抱持著極大的好奇心。 發展和責任感有共同願景的人一起工作，是一件令人興奮的事情，而且我覺得過去一年中發生的許多技術進步，確實推動了這種共識的形成。 安全方面已經做了很多工作。 系統可能帶來的風險，這將使我們能夠以更科學和實證的方式推進我們的使命。
