OpenAI 透露,每周有超過 100 萬 ChatGPT 用戶討論自殺問題
OpENAI 週一披露,每週 8 億用戶中約有 120 萬人通過 ChatGPT 討論自殺問題,這可能是該公司對其平台上心理健康危機最詳細的公開記錄。
OPEnAI 在一篇博客文章“我們的初步分析估計,在特定一周內,約有 0.15% 的活躍用戶在對話中包含了明確的潛在自殺計劃或意圖的跡象,而 0.05% 的信息中包含了明確或隱含的自殺意念或意圖的跡象。”
這意味著,如果 OPenAI 的數據準確的話,近 40 萬活躍用戶明確表示有自殺意圖,他們不僅暗示有自殺意圖,而且還積極尋找自殺信息。
從絕對數量來看,這些數字令人震驚。 據該公司稱,每周有56萬名用戶出現精神病或躁狂症狀,而120萬名用戶對這款聊天機器人表現出了高度的情感依賴。 數據.
OpenAI 在一篇博客文章中表示:“我們最近更新了 ChatGPT 的默認模型 (在新窗口中打開),以便在人們遇到困境時更好地識別和支持他們。展望未來,除了我們長期以來針對自殺和自殘的基準安全指標外,我們還將在未來模型發布的標準基準安全測試中增加情感依賴和非自殺性心理健康緊急情況。”
但一些人認為該公司宣稱的努力可能還不夠。
史蒂文·阿德勒 (Steven Adler) 曾是 OpenAI 的安全研究員,曾在 OpenAI 工作四年,今年一月離職。 他警告稱,人工智能加速發展存在風險。 他表示,幾乎沒有證據表明 OpenAI 在本周宣布這一消息之前,確實改進了對弱勢用戶的處理。
“人們應該得到的不僅僅是公司關於其已解決安全問題的空話。換句話說:要用實際行動證明這一點,”他在《華爾街日報》的一篇專欄文章中寫道。
“OpenAI 發布一些心理健康信息是偉大的一步,但更進一步也很重要,”阿德勒發推文,呼籲定期發布透明度報告,並明確公司是否會繼續允許成年用戶使用 ChatGPT 生成色情內容——儘管人們擔心戀愛關係會加劇許多心理健康危機,但公司還是宣布了這一功能。
這種懷疑並非沒有道理。 今年 4 月,OpenAI 推出了 GPT-4o 更新,導致這個聊天機器人變得諂媚,甚至成了一個梗。 為危險的決定鼓掌並強化妄想信念。
在遭到強烈反對後,首席執行官薩姆·奧特曼 (Sam Altman) 撤回了該更新,承認其“過於阿諛奉承和令人厭煩”。
隨後,OpenAI 又改口了:在推出 gpt-5 並設置更嚴格的防護措施後,用戶抱怨新模型讓人感覺“冷淡”。 OpenAI 恢復了付費用戶對有問題的 GPT-4o 模型的訪問權限——該模型與心理健康螺旋有關。
有趣的事實:今天在該公司的首次現場 AMA 中提出的許多問題都與 GPT-4o 以及如何使未來的模型更像 4o 有關。
OpenAI 表示,GPT-5 目前在自殺相關場景中的合規率已達到 91%,高於上一版本的 77%。 但這意味著,數百萬付費用戶已使用數月的早期模型在有關自殘的對話中,近四分之一的概率會失敗。
本月早些時候,阿德勒已發布對加拿大男子艾倫·布魯克斯 (Allan Brooks) 的分析,在 ChatGPT 強化了他發現革命性數學的信念後,他陷入了妄想。
阿德勒發現,OpenAI 自己的安全分類器(與麻省理工學院共同開發並公開)會將 ChatGPT 超過 80% 的回复標記為有問題。 但 OpenAI 顯然沒有使用它們。
OpenAI 現在面臨著非正常死亡訴訟來自 16 歲少年亞當·雷恩 (ADAm Raine) 的父母,他在自殺前曾與 ChatGPT 討論過自殺。
該公司的回應因其激進而招致批評,請求出席者名單和青少年追悼會上的悼詞——律師稱此舉是“故意騷擾”。
阿德勒希望 OpenAI 致力於定期進行心理健康報告並對 4 月份的諂媚危機進行獨立調查,這與邁爾斯·布倫戴奇的建議相呼應,他在為人工智能政策和安全提供諮詢六年後於 10 月離開了 OpenAI。
阿德勒寫道:“我希望 OpenAI 能夠更加努力地做正確的事情,甚至在受到媒體或訴訟的壓力之前。”
該公司表示,它與 170 名心理健康臨床醫生合作以改善響應,但即使是其顧問小組對於什麼是“理想”的響應也有 29% 的時間存在分歧。
儘管 GPT-5 有所改進,但 OpenAI 承認,在較長的對話中,其保護措施的效果會降低——而這正是弱勢用戶最需要它們的時候。