Flower AI 和 Vana 正在構建無需數據中心的先進 AI 模型

一種新的眾包訓練方式通過互聯網開發大型語言模型（LLMs），可能會在今年晚些時候以一個巨大的1000億參數模型震撼AI行業。

研究人員利用分佈在全球的GPU，並結合私有和公共數據，訓練了一種新型的大型語言模型（LLM），這一舉動表明，構建人工智能的主流方式可能會被顛覆。 Flower AI和Vana這兩家初創公司，採用非常規的方法共同創建了這一新模型，名為Collective-1。

Flower公司開發了可以將訓練分散到數百台通過互聯網連接的計算機上的技術。 該公司的技術已經被一些公司用於訓練AI模型，而無需集中計算資源或數據。 Vana則提供了包括來自X、Reddit和Telegram的私密消息在內的數據源。

在現代標準下，Collective-1的規模相對較小，擁有70億個參數——這些參數的組合賦予了模型其能力——相比之下，今天最先進的模型如ChatGPT、Claude和Gemini的參數數目達到數百億。 劍橋大學計算機科學家、Flower AI的聯合創始人Nic Lane表示，分佈式的方法承諾將遠遠超出Collective-1的規模。 Lane補充說，Flower AI正在使用常規數據訓練一個擁有300億參數的模型，併計劃在今年晚些時候訓練另一個擁有1000億參數的模型——接近行業領導者的規模。 “這可能會真正改變人們對AI的看法，所以我們對此非常努力，”Lane說。 他表示，該初創公司還在訓練中加入圖像和音頻，以創建多模態模型。

分佈式模型構建也可能動搖塑造AI行業的權力動態。 目前，AI公司通過將大量訓練數據與集中在數據中心的強大計算能力結合來構建模型，這些數據中心配備了先進的GPU，並通過超高速光纖電纜連接在一起。 它們還嚴重依賴通過抓取公開可訪問的（儘管有時是受版權保護的）材料，包括網站和書籍，創建的數據集。

這種方法意味著，只有最富有的公司和擁有大量強大芯片的國家才能夠開發出最強大和最有價值的模型。 即使是開源模型，如Meta的Llama和Deepseek的R1，也是由擁有大型數據中心的公司構建的。 分佈式方法可能使較小的公司和大學能夠通過匯聚不同的資源來構建先進的AI。 或者，它可能允許缺乏傳統基礎設施的國家將多個數據中心聯網，以構建更強大的模型。

Lane相信，AI行業將越來越多地尋求新的方法，使訓練突破單個數據中心的限制。 他說：“分佈式的方法讓你能以比數據中心模型更優雅的方式擴展計算能力。”

安全與新興技術中心的AI治理專家Helen Toner表示，Flower AI的方法“有趣且可能非常相關”於AI競爭和治理。 “它可能會繼續在前沿技術方面掙扎，但可能是一個有趣的快速跟隨者的方法，”Toner說。

分佈式AI訓練涉及重新思考用於構建強大AI系統的計算方式的劃分。 創建一個LLM涉及將大量文本輸入模型，模型調整其參數以產生對提示的有用響應。 在數據中心內部，訓練過程被劃分，以便可以在不同的GPU上運行部分，然後定期合併為一個主模型。

新的方法允許通常在大型數據中心內部完成的工作在可能相隔數英里並通過相對較慢或不穩定的互聯網連接連接的硬件上進行。

一些大公司也在探索分佈式學習。 去年，谷歌的研究人員展示了一種新的計算劃分和整合方案，稱為DIstributed PAth COmposition（DiPaCo），使分佈式學習更加高效。

為了構建Collective-1和其他LLMs，Lane和來自英國和中國的學術合作者開發了一種名為Photon的新工具，使分佈式訓練更高效。 Lane表示，Photon在數據表示和共享及整合訓練方面比谷歌的方法更高效。 該過程比常規訓練慢，但更靈活，允許添加新硬件以加速訓練。

Photon是與北京郵電大學和浙江大學的研究人員合作開發的。 該團隊上個月以開源許可證發布了該工具，允許任何人使用這一方法。

Flower AI在構建Collective-1的努力中與Vana合作，Vana正在開發新的方法，讓用戶與AI構建者共享個人數據。 Vana的軟件允許用戶貢獻來自X和Reddit等平台的私密數據用於訓練大型語言模型，並可能指定允許的最終用途，甚至從他們的貢獻中獲利。

Vana 的聯合創始人Anna Kazlauskas表示，這一想法是使未開發的數據可用於AI訓練，同時也給予用戶對其信息如何用於AI的更多控制。 “這些數據通常無法被納入AI模型，因為它們並不是公開可用的，”Kazlauskas說，“這是用戶首次直接貢獻的數據被用於訓練基礎模型，用戶擁有他們的數據所創建的AI模型的所有權。”

倫敦大學學院的計算機科學家Mirco MuSOLesi表示，分佈式AI訓練的一個關鍵好處可能是解鎖新類型的數據。 “將其擴展到前沿模型將使AI行業能夠利用大量去中心化和隱私敏感的數據，例如在醫療和金融領域進行訓練，而不必面臨數據集中化帶來的風險，”他說。

你對分佈式機器學習有什麼看法？