馬斯克：人類知識總和作為 AI 訓練資料已基本耗盡，合成資料將成為未來發展方向
深潮TechFlow 消息，1 月9 日，據TechCrunch 報道，馬斯克在與Stagwell 董事長Mark Penn 的直播對話中表示，人類知識總和作為AI 訓練數據已在2024 年基本耗盡，這一觀點 呼應了OpenAI 前首席科學家Ilya Sutskever 在12 月NeurIPS 會議上提出的「資料高峰」理論。
馬斯克認為，合成資料將成為未來 AI 發展的關鍵路徑。 目前，Microsoft、Meta、OpenAI 和 Anthropic 等科技巨頭已在其旗艦 AI 模型中採用合成資料訓練方案。 其中，Microsoft 新開源的 Phi-4、Google 的 Gemma 模型、Anthropic 的 Claude 3.5 Sonnet 以及 Meta 最新的 Llama 系列模型均採用了合成資料進行訓練或微調。
從成本角度來看，AI 新創公司 Writer 使用近乎全部合成資料開發的 Palmyra X 004 模型僅花費 70 萬美元，顯著低於 OpenAI 同等規模模型 460 萬美元的開發成本。 然而研究顯示，合成資料可能導致模型崩塌問題，使模型輸出更不具創意且偏見加劇，這源自於原始訓練資料中的偏見和限制會在合成過程中被放大。 根據 Gartner 統計，2024 年 AI 和分析專案中約 60% 的數據為合成生成。
