現有路徑不通？ OpenAI、亞馬遜考慮改變大模型訓練方式
隨著人工智能領域競爭進入深水區,行業頂尖研究人員正對現有的模型訓練範式提出質疑。
來自OpENAI、Thinking Machines Lab以及亞馬遜的研究人員正在探討一種根本性的轉變:
這一潛在的轉變由亞馬遜的David Luan等人大力倡導。 其核心觀點在於,目前的通用訓練路徑——即先賦予模型廣泛的世界知識(如詩歌或園藝),再針對特定任務(如代碼編寫或客戶退款)進行微調——在邏輯上並不總是合理的。 研究人員認為,
這種方法論的調整若付諸實踐,將深刻改變AI行業的開發格局。 這不僅意味著開發團隊可能不再需要按照預訓練和後後訓練進行人為分割,更預示著市場將從“一個通用模型適應所有場景”走向“基於不同數據集構建專用模型”的時代。 這種轉變將迫使開發者在訓練初期就對數據進行更嚴格的篩選,從而決定模型在特定領域的專長與短板。
市場已經出現了這種分化的跡象。 OpenAI目前正通過路由器將ChatGPT的查詢分流至不同模型處理,並開發瞭如gpt-5-Codex等專用模型。 這種策略反映出消費者對簡單聊天機器人的需求,與公司追求超級智能、科學研究(如火星殖民或疾病治療)等高端目標之間存在巨大差異。 若進一步深化這一路線,OpenAI可能需要徹底重組其研究團隊以適應完全不同的模型訓練需求。
重塑訓練邏輯:摒棄通用冗餘
目前的AI訓練規範在某種程度上模仿了人類的學習過程,即在童年時期積累廣泛的基礎知識,隨後學習特定技能。 然而,行業內部開始反思這一流程的效率。 David Luan指出,對於一個旨在處理代碼或客戶服務的模型而言,花費大量算力去學習完全不相關的領域(如詩歌或園藝)是一種資源浪費。
這種“廣撒網”式的預訓練雖然直觀,但也導致了諸如“裂腦問題”等技術瓶頸,即模型可能僅因提問方式的不同而給出錯誤的答案。 新的思路主張將預訓練過程用於接觸與既定任務更相關的精選數據。 OPEnAI和Thinking Machines Lab的研究人員對此表示認同,部分人士甚至建議取消不同訓練階段的獨立團隊,將人員整合為一個統一的訓練團隊,以提高針對性。
專用模型崛起與組織重構
這一變革將對AI模型的最終形態產生深遠影響。 研究人員必須在訓練早期就決定納入哪些數據,這將直接決定模型的能力邊界。 例如,在早期訓練中增加數學和代碼數據而減少散文數據,可能會造就一個卓越的編程助手,但犧牲其在創意寫作或與用戶情感交流方面的能力。
據OpenAI內部情況,公司已經意識到這種需求分化。 一方面是消費者希望ChatGPT回答簡單問題並充當聊天夥伴,另一方面是公司致力於推理模型和超級智能的前沿研究
。 目前,OpenAI雖然所有模型仍基於同一預訓練模型,但已通過路由技術和特定版本(如GPT-5-CoDEX)來應對這種複雜性。 如果未來轉向為不同目的訓練完全獨立的模型,將要求公司對研究團隊進行徹底的重組。
硬件突破與資本押注
在軟件訓練模式醞釀變革的同時,硬件領域的創新也在加速,資本正密切關注能提升能效的新技術。 光子芯片初創公司Neurophos剛剛完成了由比爾·蓋茨旗下的Gates Frontier領投的1.1億美元A輪融資,微軟旗下的風險投資公司M12也參與其中。
Neurophos致力於設計利用光而非電子進行AI數學運算的芯片。 據該公司聯合創始人兼CEO Patrick Bowen介紹,其目標是在2028年交付一款芯片,其速度和效率將是英偉達Blackwell芯片的50倍。 微軟高管MARc Tremblay表示,現
與此同時,OpenAI也在加強自身的基礎設施建設。 OpenAI首席財務官Sarah Friar在世界經濟論壇上透露,她還表示,去年宣布的價值超過5000億美元的stargate基礎設施項目已建成過半,且,公司已在甲骨文的Stargate園區服務器上訓練模型。
行業整合與競爭動態
AI領域的併購與融資活動持續活躍。 據The Information數據,旨在定制AI模型的軟件公司Lightning AI與數據中心提供商Voltage Park合併,新公司估值超過25億美元。 此外,Yelp同意以3億美元收購AI代理初創公司Hatch。 谷歌DEEPMind則通過許可協議聘請了語音AI初創公司Hume AI的CEO及多位頂尖工程師。
在巨頭動向方面,據彭博報導,蘋果正與穀歌談判,計劃利用其云基礎設施及TPU芯片來推出更新版的Siri,併計劃最早於2027年推出AI驅動的可穿戴設備。
在監管與倫理層面,Anthropic發布了Claude的新版“憲法”,相比2023年的初版,新文件減少了指令性,給予模型更多判斷空間,並罕見地提及了模型可能具有某種“意識”或“道德地位”的可能性。 白宮經濟顧問委員會則發布報告預測,生成式AI將引髮美國經濟的深刻轉型,有望顯著提振生產力和增長。
