Variant 投資合夥人：開源 AI 的困境與突破，為什麼加密技術是最後一塊拼圖？
作者：Daniel Barabander
編譯：深潮 TechFlow
簡要總結
目前基礎 AI 的開發由少數幾家科技公司主導，呈現出封閉性和缺乏競爭的特徵。
開源軟體開發雖然是一個潛在的解決方案，但基礎AI 無法像傳統開源專案（例如Linux）那樣運作，因為它面臨一個「資源問題」：開源貢獻者不僅需要付出時間，還需要承擔超出 個人能力範圍的計算和數據成本。
加密技術透過激勵資源提供者參與基礎開源 AI 項目，有望解決此資源問題。
將開源 AI 與加密技術結合，可以支援更大規模的模型開發，並推動更多創新，從而創造出更先進的 AI 系統。
引言
根據皮尤研究中心(Pew Research Center) 在2024 年進行的一項調查，64% 的美國人認為社群媒體對國家的影響弊大於利；78% 的人表示社群媒體公司在政治中擁有 過大的權力和影響力；83% 的人認為這些平台很可能會故意審查它們不同意的政治觀點。 對社群媒體的不滿幾乎成為美國社會少有的共識之一。
回顧過去 20 年社群媒體發展的歷程，這種局面似乎早已註定。 故事並不複雜：少數幾家大型科技公司抓住了用戶的注意力，更重要的是掌控了用戶數據。 儘管起初人們對資料開放抱持希望，但這些公司很快就改變策略，利用資料建立起無法打破的網路效應，並關閉了外界存取權。 最終形成了今天的局面：不到 10 家大型科技公司主導著社群媒體產業，形成了一個「寡占」的格局。 由於現狀對它們極為有利，這些公司幾乎沒有任何動力去改變。
如今，AI 技術的發展軌跡似乎正在重演這一幕，但這次的影響更加深遠。 少數幾家科技公司透過掌控 GPU 和資料資源，建立了基礎 AI 模型，並對外關閉了這些模型的存取權。 對於沒有數十億美元資金的新進業者來說，想要開發一個競爭性的模型幾乎不可能。 因為僅僅訓練一個基礎模型的運算成本就需要數十億美元，而那些從上一輪技術浪潮中獲益的社群媒體公司，正在利用它們對專有用戶資料的控制權，開發出競爭者難以企及 的模型。 我們正在重蹈社群媒體的覆轍，走向一個封閉且缺乏競爭的 AI 世界。 如果這種趨勢持續下去，少數幾家科技公司將對資訊和機會的取得擁有不受限制的控制權。
開源 AI 與「資源問題」
如果我們不希望看到一個封閉的 AI 世界，那我們的選擇是什麼？歷史上，我們已經有無數開源專案成功建構了我們日常依賴的基礎軟體。 例如，Linux 的成功證明了即使是像作業系統這樣核心的軟體，也可以透過開源方式開發。 那麼，為什麼 LLMs（大語言模型）不能呢？
然而，基礎 AI 模型面臨的特殊限制，使它們與傳統軟體不同，這也大大削弱了其作為傳統開源專案的可行性。與傳統開源專案僅依賴人們捐獻時間不同，開源 AI 也要求人們捐獻運算能力和資料資源，這就是所謂的「資源問題」。
以 Meta 的 LLaMa 模型為例，我們可以更好地理解這個資源問題。 與 OpenAI 和 Google 等競爭對手不同，Meta 沒有將模型隱藏在付費 API 背後，而是公開提供了 LLaMa 的權重，供任何人免費使用（有一定限制）。 這些權重包含了模型在 Meta 訓練過程中學到的知識，是運行模型的必要條件。 擁有這些權重，使用者可以對模型進行微調，或將模型的輸出作為新模型的輸入。
雖然 Meta 發布了 LLaMa 的權重值得肯定，但它並不能算作一個真正的開源軟體專案。 Meta 在幕後掌控著模型的訓練過程，依靠自己的計算資源、數據和決策，並單方面決定何時向公眾開放該模型。 Meta 並未邀請獨立研究者或開發者參與社區合作，因為訓練或重新訓練模型所需的資源遠遠超出一般個人的能力範圍。 這些資源包括數萬張高效能 GPU、儲存這些 GPU 的資料中心、複雜的冷卻設施，以及用於訓練的數兆 token（模型訓練所需的文字資料單元）。 正如史丹佛大學2024 年人工智慧指數報告所指出的，「訓練成本的急劇上升，實際上將傳統上是AI 研究重鎮的大學排除在頂尖基礎模型開發之外。」舉個例子，Sam Altman 曾提到 訓練GPT-4 的成本高達1 億美元，而這甚至還不包括用於硬體設施的資本支出。 此外，Meta 的資本支出在 2024 年第二季比 2023 年同期增加了 21 億美元，主要用於與 AI 模型訓練相關的伺服器、資料中心和網路基礎設施。 因此，儘管 LLaMa 的社群貢獻者可能具備技術能力來改進模型架構，但他們卻缺乏足夠的資源來實現這些改進。
總結來說，與傳統開源軟體專案不同，僅依靠善意和志願精神來激勵足夠的資源提供者是不切實際的。以開源大語言模型 BLOOM 為例，這個擁有 1760 億參數的模型集合了來自 70 多個國家、250 多個機構的 1000 名志願研究者的努力。 雖然BLOOM 的成功令人欽佩（我對此表示全力支持），但它耗費了一年的時間來協調一次訓練，並依賴法國研究機構提供的300 萬歐元資助（這還不包括訓練模型所用超級計算機 的資本支出）。 依賴新一輪的資助來協調和迭代 BLOOM 的過程過於繁瑣，無法與大型科技實驗室的開發速度相比。 自 BLOOM 發布以來已經超過兩年，目前尚未聽說該團隊開發出任何後續模型。
為了讓開源 AI 成為可能，
為什麼加密技術可以解決基礎開源 AI 的「資源問題」
加密技術的核心突破在於透過，使高資源成本的開源軟體專案成為可能。 它透過激勵潛在的資源提供者參與網路來解決開源 AI 的資源問題，而不是讓開源貢獻者預先承擔這些資源成本。
比特幣就是一個很好的例子。 作為最早的加密項目，比特幣是一個完全開源的軟體項目，其程式碼從一開始就是公開的。 然而，程式碼本身並不是比特幣的關鍵所在。 僅僅下載並運行比特幣節點軟體，在本地創建一個區塊鏈並沒有實際意義。 只有當挖礦區塊的計算量足以超出任何單一貢獻者的運算能力時，該軟體的真正價值才能體現：維護一個去中心化的、無人控制的帳簿。 與基礎開源 AI 類似，比特幣也是一個需要超出個人能力範圍的資源的開源專案。 雖然兩者對運算資源的需求原因不同——比特幣需要運算資源來確保網路不可篡改，而基礎AI 需要計算資源來優化和迭代模型——但它們的共同點在於都需要依賴超越個人能力的資源 。
比特幣，以及其他任何加密網絡，能夠激勵參與者為開源軟體專案提供資源的「秘訣」在於透過 Token 提供網路所有權。 正如 Jesse 在 2020 年為 Variant 撰寫的創立理念中所述，這種機制類似於新創公司透過「汗水股權」(Sweat Equity) 來解決早期資金不足的問題——透過主要以公司所有權的形式支付早期員工（例如創辦人），新創公司能夠吸引到 其本無法負擔的勞動力。 加密技術將「汗水股權」的概念從專注於時間貢獻者擴展到了資源提供者。 因此，Variant 專注於投資那些利用所有權機制來建立網路效應的項目，例如 Uniswap、Morpho 和 World。
如果我們希望開源 AI 成為現實，那麼透過加密技術實現的所有權機制就是解決資源問題的關鍵方案。 這種機制可以讓研究人員自由地將他們的模型設計理念貢獻給開源項目，因為實現這些想法所需的計算和數據資源將由資源提供者承擔，而資源提供者將通過獲得項目的部分所有權作為回報 ，而不是要求研究人員自己承擔高昂的前期成本。 在開源 AI 中，所有權可以有多種形式，但最令人期待的一種是對模型本身的所有權，這也是 Pluralis 提出的解決方案。
Pluralis 提出的這種方法稱為 Protocol Models。 在這種模式下，計算資源提供者可以透過貢獻運算能力來訓練特定的開源模型，並因此獲得該模型未來推理收入的部分所有權。 由於這種所有權與具體的模型掛鉤，並且其價值基於模型的推理收入，計算資源提供者會被激勵選擇最優的模型進行訓練，而不會偽造訓練數據（因為提供無用的訓練會直接降低未來 推理收入的預期價值）。 然而，一個關鍵問題是：如果訓練過程需要將模型的權重發送給計算提供者，Pluralis 如何確保所有權的安全性？ 答案在於使用「模型並行化」(Model Parallelism) 技術將模型分片分發給不同的工作者。 神經網路的一個重要特性是：即使只了解模型權重中的極小一部分，計算者仍然可以參與訓練，從而確保完整的權重集合無法被提取。 此外，由於 Pluralis 平台上會同時訓練許多不同的模型，訓練者將面對大量不同的權重集合，這使得重建完整模型變得極為困難。
Protocol Models 的核心理念是：這些模型可以被訓練、被使用，但無法從協議中被完整提取（除非使用的計算能力超過從零開始訓練模型所需的資源）。 這個機制解決了開源 AI 批評者經常提出的問題，即封閉的 AI 競爭者可能會盜用開源專案的勞動成果。
為什麼加密技術 + 開源 = 更好的 AI
在文章的開頭，我透過分析大科技公司對 AI 的控制，說明了封閉式 AI 在道德和規範層面上的問題。 但在一個充滿無力感的網路時代，我擔心這樣的論點可能難以引起大多數讀者的共鳴。 因此，我想從實際效果出發，提出兩個理由，說明為什麼由加密技術支援的開源 AI 能夠真正帶來更好的 AI。
研究表明，無論是運算能力還是資料資源的增加，都有助於提升模型的效能，這也是為什麼基礎模型的規模一直在不斷擴大的原因 。 比特幣為我們展示了開源軟體結合加密技術在運算能力上的潛力。 它已成為全球最大、最強大的運算網絡，其規模遠遠超過大科技公司所擁有的雲端運算資源。 加密技術的獨特之處在於，它能夠。 透過激勵資源提供者貢獻資源來解決共同問題，而不是各自為戰並重複勞動，加密網路實現了資源的高效利用。 借助加密技術的開源 AI 將能夠利用全球的運算和資料資源，建構出規模遠超封閉式 AI 的模型。 例如，Hyperbolic 公司已經展示了這種模式的潛力。 他們透過一個開放的市場，讓任何人都可以以較低的成本租用 GPU，從而充分利用了分散式運算資源。
這是因為一旦解決了資源問題，機器學習研究就可以回歸其高度迭代和創新的開源本質。 在基礎大語言模型 (LLM) 出現之前，機器學習領域的研究者通常會公開發布他們的模型及其可複製的設計藍圖。 這些模型通常使用開源資料集，計算需求也相對較低，因此研究者能夠在這些基礎上不斷優化和創新。 正是這種開放式的迭代過程，催生了序列建模領域的許多突破，例如循環神經網路(RNN)、長短期記憶網路(LSTM) 和注意力機制(Attention Mechanisms)，最終使得Transformer 模型架構成為 可能。 然而，這種開放的研究方式在 GPT-3 推出後發生了變化。 OpenAI 透過 GPT-3 和 ChatGPT 的成功證明，只要投入足夠的運算資源和數據，就可以訓練出具備語言理解能力的大語言模型。 這一趨勢導致了資源門檻的急劇上升，使得學術界逐漸被排除在外，同時大科技公司為了保持競爭優勢，也不再公開他們的模型架構。 這種局面限制了我們在推動 AI 最前沿技術上的能力。
透過加密技術實現的開源 AI 可以改變這一現狀。 它能夠讓研究者再次對前沿模型進行迭代，從而發現「下一個 Transformer」。 這種結合不僅能解決資源問題，還能重新活化機器學習領域的創新活力，為 AI 的未來發展開闢更廣闊的道路。
登入回覆
登入分享您的看法評論
相關文章