人工智能公司想要讀懂你的聊天機器人的想法——其中可能也包括你自己的想法
全球四十位頂尖人工智能研究人員剛剛發表了一篇論文，指出企業需要開始解讀其人工智能係統的“思想”。 而不是它們的輸出——而是它們實際的逐步推理過程，也就是在 ChatGPT 或 Claude 給出答案之前發生的內心獨白。
這 提議研究人員認為，這種名為“思維鏈監控”的方法旨在防止不當行為，甚至在模型得出答案之前就進行，並可以幫助公司在“培訓和部署決策”中設定分數。
但是有一個問題應該會讓任何曾經在 ChatGPT 中輸入過私人問題的人感到緊張：如果公司可以在部署過程中監控人工智能的想法（當人工智能與用戶互動時），那麼他們也可以監控人工智能的任何其他行為。
當安全成為監視
“這種擔心是有道理的。”尼克·亞當斯商業黑客初創公司 0rcus 的首席執行官告訴解密“原始 CoT 通常包含逐字記錄的用戶機密，因為模型會以其攝取的相同令牌進行‘思考’。”
你輸入到人工智能的所有內容都會經過它的思維鏈。 健康問題、財務困境、自白——如果CoT監控控制不當，所有這些都可能被記錄和分析。
“歷史總是站在懷疑論者一邊，”亞當斯警告說。 “9·11事件後的電信元數據和1996年《電信法》後的互聯網服務提供商流量日誌，最初都是‘為了安全’而引入的，後來卻被重新用於商業分析和傳票。除非強制加密保存，並依法限制訪問，否則CoT檔案也將面臨同樣的壓力。”
職業游牧者首席執行官帕特里斯·威廉姆斯-林多 (Patrice Williams-Lindo) 也對這種做法的風險持謹慎態度。
“我們以前見過這種伎倆。還記得社交媒體是如何從‘聯繫你的朋友’開始，最終演變成監控經濟的嗎？這裡也有同樣的潛力，”她告訴解密.
她預測未來將會出現“同意劇場”，即“公司假裝尊重隱私，但卻用 40 頁的條款掩蓋 CoT 監控”。
如果沒有全球性的防護措施，CoT 日誌將被企業工具中的各種用途所利用，從廣告定位到‘員工風險分析’。 尤其要注意人力資源技術和生產力 AI 領域。
技術現實使得這一點尤其令人擔憂。 法學碩士只有在使用CoT時才能進行複雜的多步驟推理。 隨著人工智能變得越來越強大，監控變得更加必要，也更具侵入性。
泰吉·卡利安達谷歌的設計主管並不反對這一主張，但他強調透明度的重要性，以便用戶能夠安心地了解人工智能所做的事情。
“用戶不需要完整的模型內部，但他們需要從人工智能聊天機器人那裡知道，‘這就是你看到這個的原因’，或者‘這是我不能再說的’，”她告訴解密“好的設計可以讓黑匣子看起來更像一扇窗戶。”
她補充道：“在谷歌搜索等傳統搜索引擎中，用戶可以看到每個結果的來源。他們可以點擊查看，驗證網站的可信度，並自行做出決定。這種透明度賦予用戶一種自主感和信心。而有了人工智能聊天機器人，這種背景信息往往會消失。”
有沒有安全的前進之路？
出於安全的考慮，公司可能會讓用戶選擇不提供自己的數據用於訓練，但這些條件不一定適用於模型的思維鏈（即人工智能的輸出，不受用戶控制），而人工智能模型通常會重現用戶提供的信息以進行正確的推理。
那麼，有沒有一種解決方案既能提高安全性，又不損害隱私呢？
Addams 提出的保障措施是：“緩解措施：具有零日保留的內存跟踪、存儲之前對 PII 進行確定性散列、用戶端編輯以及任何聚合分析上的差異隱私噪聲。”
但威廉姆斯-林多仍然持懷疑態度。 “我們需要的是負責任的人工智能，而不是表演性的人工智能——這意味著設計上的透明性，而不是默認的監視。”
對用戶來說，目前這還不算什麼問題——但如果實施不當，就可能成為問題。 這項可以預防人工智能災難的技術，或許也能將每一次聊天機器人對話變成一個記錄、分析，並可能轉化為商業價值的數據點。
正如亞當斯所警告的那樣，要警惕“洩露原始 CoT 的違規行為、儘管受到監控但仍有 90% 以上的規避率的公共基準，或者將 CoT 歸類為受保護的個人數據的歐盟或加州新法規”。
研究人員呼籲採取諸如數據最小化、日誌記錄透明化以及及時刪除未標記數據等保障措施。 但要實施這些措施，需要信任那些控制監控的公司。
但是隨著這些系統的功能越來越強大，當它們都能讀懂我們的思想時，誰來監視它們的監視者呢？
