OpenAI的推理模型常用中文「思考」-沒有人能解釋為什麼

使用OpenAI的個人已經發現了一個漏洞。 在OpenAI發布其最初的「推理」AI模型o1後不久，觀察到了一種特殊的行為。 顯然，當用英語提出詢問時，模型偶爾會開始用英語以外的語言“思考”，如中文或波斯語。  ；

一位用戶說，「[O1]在中途隨機開始用中文思考。」此外，一個完全不同的用戶在X還說 ，「為什麼[o1]隨機開始用中文思考？」

為什麼o1-pro隨機開始用中文思考？ 對話的任何部分（5+條訊息）都不是中文的…非常有趣…訓練資料的影響pic.twitter.com/yZWCzoaiit

--Rishab Jain（@RishabJainK）2025年1月9日

根據觀察，當遇到要解決的問題時，o1會開始其「思考」過程，這涉及一系列推理步驟，最終 得出答案。 如果查詢是用英文寫的，o1的最終回應將是英文。

儘管如此，該模型在得出結論之前，仍將以不同的語言執行某些程式。

值得注意的是，OpenAI並沒有對o1的特殊行為做出解釋，甚至也沒有承認這一點。 因此，這可能是什麼原因造成的？

以下是一些人工智慧專業人士的理論。

擁抱臉執行長Clément Delangue提到在X像o1這樣的推理模型是在包含大量中文字母的資料集上訓練的  ；

此外，GoogleDeepMind的研究員Ted Xiao表示，OpenAI等組織使用第三方中文資料標註服務，向中文的過渡是「中文語言 對推理的影響」的一個例子

Ted Xiao在一篇文章中寫道X帖子, “像OpenAI和Anthropic這樣的AGI實驗室利用3P數據標籤服務為科學 、數學和編碼的博士級推理資料；出於專家勞動力可用性和成本原因，這些資料提供者中的許多都位於中國。

顯然，在訓練過程中，標籤（也稱為識別碼或註解）有助於模型理解和解釋資料。

 ；例如，用於訓練圖像識別模型的標籤可能由指向圖像中描繪的每個人、地點或物件的標題或圍繞 物件的標記組成。

此外，研究表明，有偏見的分類會導致有偏見的模型。 例如，一般註釋者更傾向於標記非裔美國人白話英語（AAVE）中的短語 ；

這被稱為某些美國黑人所使用的有毒的非正式語法。 因此，經過標籤訓練的AI毒性偵測器認為AAVE毒性過高。

儘管如此，o1中文資料標註理論並沒有被其他專家所接受。 他們強調，在試圖制定解決方案時，o1同樣有可能過渡到印地語、泰語或中文以外的語言。

相反，這些專家認為，o1和其他推理模型可能正在使用最有效的語言來實現目標。

為此，人工智慧研究員Matthew Guzdial說：，「模型不知道什麼是語言，也不知道語言是不同的。」這 是因為代幣與標籤類似，有可能造成偏見 ；

特別是，各種單字到符號的翻譯器都假設句子中的空格表示一個新單字。 這與並非所有語言都使用空格分隔單字的事實無關。

然而，非營利組織艾倫人工智慧研究所的研究科學家Luca SOLdaini強調，不可能確定。 他說，「由於這些模型的不透明性，對部署的人工智慧系統的這種觀察是不可能支援的[…]這是強調人工智慧系統建構透明度重要性的眾多例子之一。」

OpenAI問題

2024年對OpenAI來說簡直是過山車。 該公司及其執行長薩姆·奧特曼（Sam Altman）在年初被埃隆·馬斯克（Elon Musk）起訴。 他認為，該公司從最初的非營利目標轉變為強調利潤而非公共利益。

去年，包括《紐約每日新聞》、《芝加哥論壇報》和《丹佛郵報》在內的美國八家報紙起訴 了OpenAI和微軟。 他們指責該公司未經許可或付款，使用數百萬份受版權保護的出版物來訓練人工智慧聊天機器人。 他們聲稱這項技術侵犯了他們的智慧財產權。

此外，OpenAI首席技術官Mira Murati宣布離職。 這是一個關鍵時刻，因為她的技術技能對公司的發展至關重要。

此外，OpenAI在使用ChatGPT時遇到了一些困難，例如偶爾的中斷、導致聊天機器人做出不準確或荒謬反應的故障 ，以及對用戶隱私的擔憂。 也有人工智慧生成有偏見或冒犯性內容的情況。

循序漸進的系統在90天內啟動您的Web3職業生涯並獲得高薪加密貨幣工作。