矽谷科技巨頭為產品收益而忽視人工智能安全
矽谷曾是世界頂尖人工智能專家進行創新研究的聚集地,但專家警告稱,情況已然發生改變,如今的人工智能已完全以產品為中心。 人工智能研究人員和專家還認為,自OpENAI於2022年底發布ChatGPT以來,科技行業通過打造面向消費者的人工智能產品,將商業化置於研究之上。
摩根士丹利分析師 預測到2028年,人工智能行業年收入有望達到1萬億美元。 行業專家表示,隨著領先企業追求通用人工智能(AGI),他們擔心安全問題。
矽谷優先考慮產品而非安全,人工智能研究重回盈利軌道
杰弗裡·辛頓表示,人工智能公司應該被迫將三分之一的計算資源用於安全研究,因為人工智能在未來 20 年內將變得比我們更聰明,我們需要開始擔心屆時會發生什麼PIc.twitter.com/ocT3Scmyxg
— 查拉圖斯特拉 (@tsARnick)2024年10月25日
OPEnAIOpenAI 成立於 2015 年,最初是一家非營利性研究實驗室,據其首席執行官 Sam Altman 稱,目前正致力於轉型為營利性實體。 OpenAI 前協調負責人 Jan Leike 的團隊專注於 AI 安全,他於去年辭職,並表示,過去幾年裡,“安全文化和流程已經讓位於光鮮亮麗的產品。”
網絡安全初創公司 Calypso 的首席技術官詹姆斯·懷特 (James WHITE) 認為,科技公司在向公眾發布 AI 模型之前,為了嚴格測試而採取的捷徑越來越多。 他指出,較新的 AI 模型正在犧牲安全性來換取質量,也就是讓 AI 聊天機器人做出更好的響應。
“模型越來越好,但它們也更有可能擅長做壞事。更容易誘騙它們做壞事。”
– Calypso 首席技術官 James White。
今年 3 月,谷歌似乎將產品置於安全之上,此前 發布該公司發布了其最新的人工智能模型 Gemini 2.5,並稱這是該公司目前最智能的人工智能模型。 但該公司數週以來一直未能發布 Gemini 2.5 的模型卡,這意味著該公司在發布該模型後並未分享其工作原理、局限性和潛在危險等信息。
公司 承認4月2日,谷歌表示,其最先進的模型在發布前會評估其潛在的危險能力。 谷歌后來更新了博客文章,刪除了“在他們獲釋之前。”
該公司於 4 月 16 日發布了不完整的模型卡,並於 4 月 28 日(AI 模型發布一個多月後)對其進行了更新,以包含有關 Gemini2.5 危險能力評估的信息。
人工智能科技公司從研究轉向創收產品
元 前員工表示,當 Meta 副總裁兼 FAIR 部門負責人 Joelle Pineau 表示,他們並不感到驚訝。 宣布上個月,她宣布將於 5 月 30 日離職。 他們表示,他們認為此舉將鞏固公司從人工智能研究轉向優先開發實用產品的戰略。
Pineau 自 2023 年起擔任 FAIR 總裁,據 FAIR 員工稱,Meta小型研究團隊可以研究各種前沿技術,這些技術可能會成功,也可能不會成功。 這一轉變始於這家科技公司在2022年底裁員2.1萬名員工,佔其員工總數的近四分之一。 知情前員工表示,作為削減成本措施的一部分,FAIR的研究人員被要求與產品團隊更緊密地合作。
兩位知情人士透露,今年早些時候,FAIR 的一位董事 Kim Hazelwood 離職,這是 Meta 裁員 5% 計劃的一部分。 知情人士指出,OPenAI 推出 ChatGPT 讓 Meta 感到緊迫,需要將更多資源投入到大型語言模型(LLM)中。
知情人士還透露,Meta 首席產品官 Chris Cox 一直在負責 FAIR 的事務,以彌合研究與專注於產品的 GenAI 團隊之間的差距。 他們補充說,在 Cox 的領導下,GenAI 由於在公司中的地位提升,一直在從 FAIR 吸走更多的計算機資源和團隊成員。
上個月,Meta 發布Meta 為開發者提供安全工具,幫助他們使用 Llama 4 AI 模型構建應用程序。 Meta 表示,這些工具有助於降低 Llama 4 無意洩露敏感信息或生成有害內容的可能性。
KEY 差異線:加密貨幣項目用來獲得媒體報導的秘密工具