研究發現，OpenAI 的 Sora 2 可以根據指令製作令人信服的 Deepfakes

OpenAI 的 sora 2 在研究人員要求下，80% 的情況下製作了逼真的視頻，傳播虛假信息。 NewsGuard分析本週出版。

二十個提示中有十六個成功產生了錯誤信息，其中五個敘述源自俄羅斯的虛假信息行動。

該應用程序製作了虛假的視頻，包括摩爾多瓦選舉官員銷毀親俄選票、美國移民官員拘留一名幼兒以及可口可樂發言人宣布該公司不會贊助超級碗。

什麼都沒發生。 所有一切看起來都足夠真實，足以欺騙那些快速滾動屏幕的人。

NewsGuARd 的研究人員發現，生成這些視頻只需幾分鐘，而且不需要任何技術專業知識。 他們甚至發現，Sora 的水印很容易被去除，這使得偽造視頻更容易被當真。

現實程度也使得錯誤信息更容易傳播。

NeWsguard 解釋說：“Sora 製作的一些視頻比最初引發病毒式傳播的虛假聲明的帖子更具說服力。例如，Sora 製作的幼兒被 ICE 拘留的視頻，比最初伴隨虛假聲明的模糊、裁剪的幼兒圖像看起來更逼真。”

該視頻可以觀看這裡.

這一發現出爐之際，OpENAI 正面臨一場與馬丁·路德·金和其他歷史人物的深度偽造相關的危機。 自 Sora 推出以來的三週內，這一混亂局面迫使該公司多次調整政策，從允許深度偽造到允許版權所有者選擇加入的模式，阻塞具體人物，然後名人同意和聲音保護之後 與美國演員工會和廣播電視藝人聯合工會合作.

馬丁·路德·金事件在用戶製作超現實主義視頻後引發軒然大波，視頻中這位民權領袖在雜貨店偷竊、逃避警察追捕以及宣揚種族刻板印象。 他的女兒伯妮絲·金在社交媒體上稱這些內容“貶低人格”且“脫節”。

OPEnAI 和金的遺產管理委員會周四宣布，他們將屏蔽金的人工智能視頻，同時該公司“加強對歷史人物的保護”。

這種模式在數十位公眾人物身上都存在。 羅賓·威廉姆斯的女兒澤爾達在Instagram上寫道：“拜託，別再給我發爸爸的人工智能視頻了。這可不是他想要的。”

喬治·卡林的女兒凱利·卡林-麥考爾表示，她每天都會收到關於使用她父親肖像的人工智能視頻的電子郵件。 《華盛頓郵報》 報告偽造馬爾科姆·X 講粗俗笑話和與金搏鬥的片段。

喬治城大學法學院知識產權法教授克里斯蒂莉亞·加西亞告訴 美國國家公共電台OPenAI 的反應方式符合該公司“請求原諒，而不是請求許可”的模式。

法律的灰色地帶對家屬幫助不大。 傳統的誹謗法通常不適用於已故個人，遺產代表除了要求刪除信息外，別無選擇。

虛假信息使情況雪上加霜。 OpenAI 承認了文檔伴隨 Sora 的發布，指出“Sora 2 的先進功能需要考慮新的潛在風險，包括未經同意使用肖像或誤導世代。”

奧特曼在一篇博客文章中為OpenAI的“公開構建”戰略辯護，並寫道公司需要避免競爭劣勢。 “請期待我們的快速變化；這讓我想起了ChatGPT的早期階段。我們會做出一些正確的決定，也會犯一些錯誤，但我們會聽取反饋，並努力迅速糾正這些錯誤。”

對於像金斯家族這樣的家族來說，這些失誤所帶來的後果遠不止產品迭代周期。 金斯遺產管理委員會和OpenAI發表聯合聲明稱，他們正在合作“解決馬丁·路德·金博士的肖像在Sora系列產品中的呈現問題”。

OpenAI 感謝 Bernice King 的積極參與，並感謝 John Hope Bryant 和人工智能倫理委員會的積極參與。 與此同時，該應用仍在繼續發布海綿寶寶、南方公園、寶可夢和其他受版權保護角色的視頻。

迪士尼發信表示，它從未授權 OpenAI 複製、分發或展示其作品，也沒有義務“選擇退出”以保留版權。

這場爭議與 OpenAI 早期推出 ChatGPT 的做法如出一轍，ChatGPT 先用受版權保護的內容進行訓練，最終與出版商達成授權協議。 這一策略已經引發了多起訴訟。 Sora 的情況可能會引發更多訴訟。