麻省理工學院研究發現,人工智能仍然無法理解“不”這個詞
人工智能可以診斷疾病、寫詩,甚至駕駛汽車——但它仍然無法說出一個簡單的詞:“不”。 這種盲點可能會在現實世界的應用中造成嚴重後果,比如圍繞醫療保健構建的人工智能。
根據一項新學習由麻省理工學院博士生 Kumail Alhamoud 領導,與OpENAI和牛津大學的研究表明,不理解“不”和“不是”可能會產生嚴重後果,尤其是在醫療環境中。
否定(例如“無骨折”或“未擴大”)是一項至關重要的語言功能,尤其是在醫療保健等高風險環境中,誤解否定詞可能會造成嚴重傷害。 研究表明,當前的人工智能模型(例如 ChatGPT、Gemini 和 Llama)通常無法正確處理否定語句,而是傾向於默認採用積極的聯想。
核心問題不僅僅是缺乏數據,而在於人工智能的訓練方式。 大多數大型語言模型是為了識別模式,而非邏輯推理而構建的。 這意味著它們可能會將“不好”解讀為某種程度上的積極,因為它們將“好”與積極聯繫起來。 專家認為,除非模型被教會通過邏輯推理,而不是僅僅模仿語言,否則它們將繼續犯下輕微但危險的錯誤。
零知識基礎設施公司 Lagrange LABs 的首席研究工程師 Franklin Delehelle 表示:“人工智能非常擅長生成與訓練中看到的類似的反應。但它在提出真正新穎或超出訓練數據的東西方面卻非常糟糕。”解密。 “因此,如果訓練數據缺乏說‘不’或表達負面情緒的有力例子,模型可能很難產生這種反應。”
在研究中,研究人員發現,用於解釋圖像和文本的視覺語言模型對肯定的陳述表現出更強烈的偏見,經常無法區分正面和負面的標題。
研究人員表示:“通過合成否定數據,我們為建立更可靠的模型提供了一條充滿希望的道路。雖然我們的合成數據方法提高了對否定的理解,但挑戰依然存在,尤其是在細粒度的否定差異方面。”
儘管推理許多人工智能係統仍然難以進行類似人類的推理,特別是在處理開放式問題或需要更深入理解的情況時,或者“常識”
所有法學碩士(LLM)——也就是我們現在通常所說的人工智能——都會在一定程度上受到其初始提示的影響。 當你與 ChatGPT 或類似系統交互時,系統不僅僅是在利用你的輸入。 此外,還有一個由公司預設的內部或“內部”提示——你,作為用戶,無法控制它。 Delehelle 告訴解密。
Delehelle 強調了人工智能的核心限制之一:它依賴於訓練數據中發現的模式,這種限制可能會影響(有時還會扭曲)人工智能的反應方式。
斯坦福大學深度學習兼職教授、技能智能公司 Workera 創始人 Kian Katanforoosh 表示,否定的挑戰源於語言模型運作方式的一個根本缺陷。
“否定看似複雜。‘不’和‘不是’這樣的詞會改變句子的意思,但大多數語言模型並不是通過邏輯推理——它們只是根據模式來預測可能的聲音,”Katanforoosh 告訴解密“這使得他們在涉及否定時容易忽略重點。”
Katanforoosh 也與 Delehelle 的觀點一致指出,AI 模型如何訓練才是核心問題。
“這些模型被訓練來聯想,而不是推理。所以當你說‘不好’時,它們仍然會把‘好’這個詞與積極情緒強烈地聯繫起來,”他解釋道。 “與人類不同,它們並不總是會推翻這些聯想。”
卡坦福魯什警告說,無法準確解釋否定不僅僅是一個技術缺陷——它可能會在現實世界中產生嚴重的後果。
“理解否定是理解的基礎,”他說。 “如果模型不能可靠地掌握它,就有可能犯下細微但關鍵的錯誤——尤其是在法律、醫療的, 或者 人力資源應用”
儘管擴大訓練數據似乎是一個簡單的解決辦法,但他認為解決方案並不在這兒。
“解決這個問題的關鍵不在於更多的數據,而在於更好的推理。我們需要能夠處理邏輯而不僅僅是語言的模型,”他說,“這就是目前的前沿:將統計學習與結構化思維連接起來。”
詹姆斯·魯賓編輯