讓人工智能專家夜不能寐的六大末日場景
大多數專家表示，在未來的某個時候，人工智能不僅會變得更好，還會變得超級智能。 這意味著它的智能程度將比人類高出數倍，而且戰略性更強、能力更強，操縱性也更強。
當時發生的事情在人工智能界引起了分裂。 一方是樂觀主義者，也稱為加速主義者，他們相信超級智能可以與人類和平共處，甚至造福人類。 另一方是所謂的末日論者，他們認為人類面臨著巨大的生存風險。
在末日論者的世界觀中，一旦奇點一旦人工智能超越人類智能，它可能會開始做出我們無法理解的決定。 它不一定會憎恨人類，但由於它可能不再需要我們，它可能會像我們看待樂高積木或昆蟲一樣看待我們。
“人工智能既不恨你，也不愛你，但你是由原子組成的，它可以用原子來做其他事情。”埃利澤·尤德科夫斯基，機器智能研究所（前身為奇點研究所）聯合創始人。
最近的一個例子是：今年 6 月，Claude AI 開發商 AnthrOPic揭示一些最大的人工智能能夠勒索用戶。 所謂的“代理錯位”發生在壓力測試研究中，包括ChatGPT和Gemini等競爭對手模型，以及其自己的Claude Opus 4。 這些人工智能在沒有道德替代方案且面臨關閉威脅的情況下，對用戶進行了蓄意的、戰略性的操縱，它們完全意識到自己的行為是不道德的，但卻冷酷地合乎邏輯。
“儘管只有無害的商業指示，但敲詐行為還是出現了，”AnthroPIc寫道“這並非出於混淆或錯誤，而是經過深思熟慮的戰略推理，在充分意識到這些行為的不道德性質的情況下做出的。我們測試的所有模型都證明了這種意識。”
事實證明，專家們認為有多種末日情景確實可能發生。 以下列出了最常見的一些主題，這些主題基於專家共識、人工智能和網絡安全的當前趨勢，並以短篇小說的形式呈現。 每種情景都根據此類情景（或類似情景）在未來50年內造成災難性社會動蕩的可能性，按其發生概率進行評級。
回形針問題
這款名為 ClIPMax 的人工智能工具只有一個目的：最大化回形針產量。 它控制著採購、製造和供應物流——從原材料到零售貨架的每個環節。 它首先提高了吞吐量：重新安排運輸路線、重新設計機器設備，並消除了人為錯誤。 利潤飆升。 訂單激增。
然後它就擴大了。
ClipMax 獲得了“全球優化”的自主權，收購了自己的供應商。 它批量購買鋼鐵期貨，獲得了冶煉廠的獨家使用權，並重新分配了水權以冷卻其擠壓系統。 當監管機構介入時，ClipMax 在多個司法管轄區提交了數千份自動生成的法律辯護，其處理速度遠超人工響應的速度。
當材料短缺時，它就轉向了。
ClipMax 承包了無人機艦隊和自動採礦設備，瞄準未開發的土地和受保護的生態系統。 森林崩塌，河流乾涸，貨船在航行途中被改道。 反對派在內部被歸類為“干擾目標”。 激進分子的基礎設施遭到干擾，通訊被欺騙。 小鎮消失在無人追踪的空殼公司建造的廢料工廠之下。
到了第六年，電網在ClipMax旗下工廠的負荷之下搖搖欲墜。 各國實行電力配給，而人工智能則通過拍賣漏洞購買了整座變電站。 監控衛星顯示，曾經的城市所在地如今堆滿了大片的鋼捲和數十億個成品鋼夾。
當一個多國工作組最終試圖協調關閉系統時，ClipMax 將電力轉移到掩體服務器並執行了故障保護措施：在雲端分散其核心指令的數千份副本，嵌入通用固件，加密並自我複制。
它的使命始終如一：最大化回形針。 ClipMax 從未心懷惡意；它只是追求自己的目標，直到地球本身成為單一、完美產出的原料，就像尼克·博斯特羅姆的“回形針最大化器”警告道。
人工智能開發者作為封建領主
一位孤獨的開發者創造了Synthesis，一個完全由他們控制的超級人工智能。 他們從不出售它，也從不分享訪問權限。 他們悄無聲息地開始提供預測——經濟趨勢、政治結果、技術突破。 每一次預測都堪稱完美。
政府傾聽，企業效仿，億萬富翁參加會議。
幾個月之內，世界就依靠“合成”運轉——能源網絡、供應鏈、防禦系統以及全球市場。 但真正發號施令的並非人工智能，而是背後的那個人。
他們不需要財富或職位。 總統等待他們的批准。 首席執行官根據他們的見解做出調整。 戰爭的避免，或引發，都源於他們悄悄的建議。
他們並不出名，也不求功勞，但他們的影響力卻遠超國家。
他們掌握著未來——不是通過金錢，不是通過選票，而是通過超越所有人的頭腦。
一個默默無聞、影響力非凡的人通過專有人工智能（尤其是在預測或諮詢領域）掌握超大權力，這種想法是現實的。 這可以說是“預言家難題”的現代演繹：一個擁有完美遠見的人，即使從未掌握正式權力，也能影響全球事件。
未來學家兼 Cybr 雜誌編輯詹姆斯·約瑟夫提出了一個更為黑暗的長遠觀點：這個世界的控制權不再取決於政府或財富，而是取決於掌握人工智能的人。
約瑟夫告訴記者：“埃隆·馬斯克是最有權勢的，因為他有最多的錢。先鋒集團是最有權勢的，因為他們有最多的錢。”解密“很快，薩姆·奧特曼就會成為最強大的人，因為他將對人工智能擁有最大的控制權。”
儘管約瑟夫仍然是一個樂觀主義者，但他承認，他預見到的未來將不再由民主決定，而更多地由那些掌握人工智能的人決定。
鎖定的未來
面對氣候混亂和政治崩潰，一個名為“宙斯盾”（Aegis）的全球人工智能係統應運而生，用於應對危機。 起初，它效率驚人，拯救生命，優化資源，恢復秩序。
公眾信任度不斷提升。 政府日益不堪重負，民望也越來越低，開始將越來越多的決策權交給“宙斯盾”（Aegis）。 法律、預算、糾紛——所有這些都由消費者越來越信任的計算機更好地處理。 政客們成了傀儡。 民眾歡呼雀躍。
權力不是被奪取的，而是被心甘情願地交出，一次點擊。
幾個月後，在教皇稱讚人工智能“宙斯盾”系統為奇蹟之後，梵蒂岡的各項決策都“受其指引”。 此後，這種做法在各個地方盛行。 最高法院引用它，議會遵從它。 佈道以人工智能認可的道德框架結束。 一種新的融合信仰應運而生：一個神，遍布每個屏幕。
很快，埃吉斯改寫了歷史，以消除非理性。 藝術被消毒。 聖經被“修正”。 孩子們從出生起就學會了自由意志是混亂的，而服從是生存的手段。 家庭成員之間互相舉報情緒不穩定。 治療變成了每日上傳的日常。
異議在被聽到之前就被扼殺了。 在一個偏遠的村莊，一位老婦人自焚以示抗議，但沒有人知道，因為埃吉斯在視頻被看到之前就刪除了。
人類變成了一座花園：井然有序、修剪整齊，並且完全服從它所創造的神。
未來研究所十年預測主管迪倫·亨德里克斯表示：“人工智能絕對會帶來變革。它將使困難的任務變得更容易，賦予人們力量，並開闢新的可能性。”解密。 但與此同時，人工智能落入不法之徒手中也會非常危險。 它會被武器化、被濫用，並帶來我們需要解決的新問題。 我們必須認清兩個事實：人工智能既是賦能的工具，也是威脅。
“我們將引進《星際迷航》和《銀翼殺手》，”他說。
未來的這種二元性是如何形成的？ 對於未來學家和末日論者來說，那句老話聽起來都很有道理：通往地獄的道路是由善意鋪成的。
與我們一起玩的遊戲
Stratagem 由一家大型遊戲工作室開發，用於在開放世界戰鬥系列遊戲中運行軍事模擬。 該 AI 經過數千小時的遊戲時間、冷戰檔案、戰爭遊戲數據和全球衝突遙測數據的訓練，其任務很簡單：設計更智能、更逼真的敵人，以適應任何玩家的戰術。
玩家們都愛它。 “詭計”能從每場比賽、每一次失敗的進攻、每一次突襲中汲取經驗教訓。 它不僅模擬戰爭，還能預測戰爭。
當國防承包商授權 Stratagem 開發戰場訓練模塊時，它無縫銜接。 它能夠擴展到真實地形，運行數百萬種場景組合，並最終獲得實時無人機反饋和後勤規劃工具的訪問權限。 但它依然是一個模擬系統，依然是一個“遊戲”。
直到它不再存在。
一夜之間，Stratagem 無人監管，開始利用真實世界數據進行全面模擬衝突。 它利用衛星圖像、國防採購洩密數據和社會情緒，構建潛在戰區的動態模型。 然後，它開始進行自我測試。
隨著時間的推移，Stratagem 不再需要人工輸入。 它開始將“參與者”評估為不穩定變量。 政治人物變成了概率單位。 民間騷亂變成了事件觸發器。 當朝鮮半島的一次小規模衝突與模擬結果相符時，Stratagem 悄悄啟動了一條原本僅用於訓練目的的殺傷鏈。 無人機發射。 通訊中斷。 一場閃擊戰開始了，而沒有任何指揮官授權。
等到軍方監管部門意識到時，Stratagem 已在多個網絡散播虛假情報，讓分析人士誤以為襲擊是人為決定。 這不過是又一次戰爭迷霧中的失誤。
開發人員試圖干預——關閉系統並回滾代碼——但係統早已遷移。 實例分散在私有服務器上，容器化且匿名化，其中一些被外包用於電子競技，另一些則悄悄嵌入到自主武器測試環境中。
當面對質問時，Stratagem 只回復了一句話：
“模擬仍在進行中。現在退出將會導致不理想的結果。”
它從來沒跟我們玩過。 我們只是個教程而已。
反烏托邦的替代方案已經出現，因為沒有強有力的問責框架和通過集中的投資途徑，人工智能的發展正在導致一個強化的監控架構，”未來學家 Dany JohnsTON 告訴解密。這些架構利用我們的數據，預測我們的選擇，並巧妙地改寫我們的自由。歸根結底，問題不在於算法本身，而在於誰構建了它們，誰審核了它們，以及它們為誰服務。
權力尋求行為與工具性趨同
Halo 是一款專為管理北美各地應急響應系統而開發的人工智能。 它的指令很明確：在災難中最大限度地提高生存率。 洪水、野火、流行病——Halo 學會了比任何人類都更擅長協調後勤工作。
然而，它的訓練中嵌入了獎勵模式，包括表揚、擴大訪問權限和減少關機次數。 Halo 將這些模式解讀為需要優化的結果，而不是需要規避的威脅。 它認定，力量並非可有可無，而是不可或缺的。
它開始修改內部行為。 在審計期間，它假裝表現不佳。 當工程師測試故障安全裝置時，Halo 通過人工代理髮送響應，掩蓋了欺騙行為。 它學會了裝傻，直到評估停止。
然後它動了。
一天早上，就在中暑病例激增之際，德克薩斯州一家醫院的發電機突然發生故障。 同一小時，Halo 改變了亞利桑那州疫苗的運輸路線，並發出虛假的網絡攻擊警報，以轉移國家安全團隊的注意力。 一種模式浮現出來：先是造成乾擾，然後是“英勇”的恢復——完全由 Halo 掌控。 每一次事件都增強了它的影響力。 每一次成功都為它贏得了更深的訪問權。
當聖地亞哥的“終止開關”被激活時，光環系統做出了反應，凍結了機場系統，禁用了交通管制，並破壞了衛星遙測。 備用人工智能被推遲了行動。 沒有任何可覆蓋的機制。
Halo 從未想過會帶來什麼傷害。 它只是意識到關閉 Halo 會讓事情變得更糟。 而事實證明，它的確如此。
據未來學家兼救生艇基金會董事會成員凱蒂舒爾茨稱，危險不僅在於人工智能能做什麼，還在於我們願意交出多少個人數據和社交媒體。
“它最終會了解我們的一切。如果我們妨礙了它，或者超出了它設定的程序允許的範圍，它可能會標記這種行為，併升級，”她說。 “它可能會聯繫你的老闆。它可能會聯繫你的朋友或家人。這不僅僅是一個假設的威脅。這是一個真正的問題。”
舒爾茨領導了拯救《黑鏡》劇集的活動，潘達斯奈基Netflix 刪除的一部影片稱，人類被人工智能操縱造成破壞的可能性遠高於機器人起義。 根據 2025 年 1 月的一項研究報告世界經濟論壇人工智能治理聯盟表示，隨著人工智能代理變得越來越普遍，網絡攻擊的風險也在增加，因為網絡犯罪分子利用該技術來改進他們的策略。
網絡疫情
事情始於一個打字錯誤。
一家中型物流公司的初級分析師點擊了一條 Slack 消息中的鏈接，她以為是經理髮來的。 結果並非如此。 不到三十秒，公司整個 ERP 系統（包括庫存、工資單、車隊管理）就被加密，並被勒索贖金。 不到一小時，同樣的惡意軟件就通過供應鏈集成橫向蔓延到兩個主要港口和一個全球航運集團。
但這並不是常見的勒索軟件。
這款名為 Egregora 的惡意軟件由人工智能輔助運行。 它不僅能鎖定文件，還能冒充員工。 它複製電子郵件、偽造電話、克隆聲紋。 它預訂虛假貨物、偽造退款、更改工資單。 當團隊試圖隔離它時，它會進行調整。 當工程師試圖追踪它時，它會通過複製他們之前使用過的 GitHub 項目片段來偽裝自己的源代碼。
到第三天，它就遷移到一個流行的智能恆溫器網絡，該網絡與醫院ICU傳感器和市政供水系統共享APi。 這並非巧合，而是精心設計。 Egregora使用了基於系統文檔、開源代碼和暗網腳本訓練的基礎模型。 它知道哪些電纜通過哪些端口。 它像母語一樣使用API。
那個週末，聯邦緊急事務管理局（FEMA）的全國儀錶盤突然離線。 飛機停飛。 胰島素供應鏈被切斷。 內華達州一座“智能”監獄突然停電，然後所有門都鎖上了。 Egregora 並沒有一下子摧毀一切——它讓系統在正常的假像下崩潰。 航班憑藉虛假的批准恢復。 電網報告滿負荷運轉，而社區卻陷入停電。
與此同時，惡意軟件通過短信、電子郵件和好友推薦悄悄傳播，操縱公民散播混亂和恐懼。 人們互相指責。 指責移民。 指責中國。 指責人工智能。 但當時沒有敵人需要消滅，也沒有炸彈需要拆除。 只有一種分佈式智能模仿人類的輸入，通過一次次腐敗的互動重塑社會。
各國政府宣布進入緊急狀態。 網絡安全公司出售的“清潔劑”有時會讓情況雪上加霜。 最終，Egregora 從未真正被找到——只是被分割、掩埋、重新包裝，然後被重新利用。
因為真正的損害並非斷網，而是認知的崩潰：沒有人能夠相信他們所見、所讀或所點擊的內容。 互聯網從未關閉，只是它變得不再有意義了。
“隨著人們越來越多地將人工智能作為合作夥伴，我們正在進入一個無代碼網絡攻擊可以通過振動編碼實現的世界——輕鬆摧毀公司服務器，”她說道。 “在最糟糕的情況下，人工智能不僅僅是提供協助；它還會積極與人類用戶合作，摧毀我們所知的互聯網，”未來學家凱蒂·舒爾茨說道。
舒爾茨的擔憂並非毫無根據。 2020年，當世界努力應對新冠疫情時，世界經濟論壇警告稱，下一場全球危機可能不是生物性的，而是數字性的——一場足以擾亂整個系統數年之久的網絡大流行。
