人工智能會拯救人類，還是會毀滅人類？

本週，四位傑出的技術專家就人工智能的未來展開了激烈的辯論，引發了關於人工智能未來的尖銳分歧。 超人類主義者曾就構建通用人工智能展開辯論，或者急性胃腸病要么拯救人類，要么毀滅人類。

這控制板由非營利組織主辦人性+此次活動匯聚了人工智能“末日論者”中最直言不諱的人物之一埃利澤·尤德科夫斯基（他曾呼籲停止高級人工智能的開發），以及哲學家和未來學家馬克斯·莫爾、計算神經科學家安德斯·桑德伯格和“人類+”榮譽主席娜塔莎·維塔-莫爾。

他們的討論揭示了關於通用人工智能是否能與人類生存相一致，或者它的創造是否會導致人類滅絕的根本分歧。

“黑箱”問題

尤德科夫斯基警告說，現代人工智能係統從根本上來說是不安全的，因為它們的內部決策過程無法被完全理解或控制。

尤德科夫斯基警告說：“任何黑箱技術最終都可能出現與現有技術極其相似的問題。”他認為，人類需要“徹底擺脫當前的思維模式”，才能安全地開發出先進的人工智能。

通用人工智能是指一種能夠推理和學習並處理各種任務的人工智能形式，而不是像傳統人工智能那樣，是為單一任務而構建的。 text,圖像， 或者視頻通用人工智能（AGI）通常與技術世代的概念聯繫在一起。 奇點因為達到那種智能水平可以讓機器自我改進。 快點人類無法跟上。

尤德科夫斯基指出“回形針最大化器哲學家尼克·博斯特羅姆（Nick Bostrom）推廣了一個類比來說明這種風險。這個思想實驗設想了一個人工智能，它會將所有可用的物質都轉化為回形針，從而進一步強化了它對單一目標的執著，最終損害了人類的利益。尤德科夫斯基（Yudkowsky）表示，增加目標數量並不會顯著提高安全性。

（他指的是他最近出版的關於人工智能的書的書名）如果有人建造它，所有人都會死。 他說：“我們的標題不是這樣的。”可能“可能會要了你的命，”尤德科夫斯基說。 “我們的標題是，如果有人建造它，每個人死了。

但莫爾對“極度謹慎就能帶來最安全的結果”這一前提提出了質疑。 他認為，通用人工智能（AGI）或許能為人類提供克服威脅的最佳機會。 老化以及疾病。

“對我而言，最重要的是，通用人工智能（AGI）或許能夠幫助我們阻止所有人因衰老而滅絕，”莫爾說道。 “我們終將一死。我們正走向一場災難，一個接一個地死去。”他警告說，過度限制可能會迫使各國政府走向威權統治，以此作為阻止人工智能在全球範圍內發展的唯一途徑。

桑德伯格將自己定位在這兩個陣營之間，他自稱“比較樂觀”，但同時又比超人類主義樂觀主義者更加謹慎。 他講述了自己的一次親身經歷：他差點使用大型語言模型來輔助設計……生物武器他將這段經歷描述為“令人毛骨悚然”。

桑德伯格說：“我們正逐漸意識到，助長惡意行為者的力量也會造成巨大的混亂。”儘管如此，他仍然認為部分或“近似安全”是可以實現的。 他反對安全必須完美才有意義的觀點，並指出人類至少可以在生存等最基本的共同價值觀上達成共識。

“所以，如果你要求絕對安全，那是不可能的。從這個角度來看，這聽起來很糟糕，”他說。 “但另一方面，我認為我們實際上可以做到接近安全。這就足夠了。”

對聯盟的懷疑

Vita-More 批評了更廣泛的聯盟辯論本身，認為該概念假定了一種即使在長期合作者之間也不存在的共識水平。

“所謂‘結盟’的想法純屬天真，”她說。 “我們永遠不可能結盟。我的意思是，即使在這裡，我們都是好人。我們認識幾十年了，但我們之間並沒有結盟。”

她將尤德科夫斯基關於通用人工智能（AGI）必然會殺死所有人的說法描述為“絕對主義思維”，這種思維不給其他結果留下任何空間。

“我對‘人人都會死’這種一概而論的說法感到不滿，”她說。 “從未來學家和務實主義者的角度來看，這種說法不考慮任何後果、替代方案或其他可能性。這只是一個簡單粗暴的斷言，我不禁懷疑它是否反映了一種絕對主義的思維方式。”

討論內容包括關於人類與機器更緊密融合是否能夠降低通用人工智能（AGI）帶來的風險的辯論——特斯拉首席執行官埃隆·馬斯克對此表示贊同。 建議的過去，尤德科夫斯基曾駁斥過與人工智能融合的想法，將其比作“試圖與你的烤麵包機融合”。

桑德伯格和維塔-莫爾認為，隨著人工智能係統能力的不斷增強，人類需要與它們更緊密地融合或整合，才能更好地應對後通用人工智能時代。

“這場討論是對我們作為人類的本質的一次現實檢驗，”維塔-莫爾說道。