AI 讀了《1984》，決定禁了它

作者：柯瑞，深潮 TechFlow

上週，英國曼徹斯特一所中學，用 AI 審查了自己的圖書館。

AI 列了一份 193 本的下架清單，每本附了理由。 喬治‧歐威爾的《1984》赫然在列，理由是「含有酷刑、暴力和性脅迫主題」。

《1984》寫的是一個政府監控一切、改寫歷史、決定公民能看什麼不能看什麼的世界。 現在，AI 替一所學校做了同樣的事，而且它可能根本不知道自己在說什麼。

這所學校圖書館員覺得不合理，拒絕全部執行 AI 給的建議。

學校隨即以「兒童安全」為由對她發起內部調查，指控她向圖書館引入不適當書籍，並舉報給了地方政府。 她因壓力病休，最後辭職。

荒誕的是，地方政府的調查結論認定她確實違反了兒童安全程序，投訴成立。

英國學校圖書館分會主席卡洛琳‧羅切說，這個結論意味著她再也無法在任何學校工作了。

之後，學校在內部文件裡承認，所有分類和理由都是 AI 生成的，原話是：「雖然分類由 AI 生成，但我們認為這一分類大致準確。」

一所學校把「什麼書適合學生讀」這個判斷交給了 AI，AI 交回了一份它自己也不理解的答案，然後一個人類就沒看了。

這件事被英國言論自由組織 Index on Censorship 曝光後，引發的問題遠不止一所學校的書架：

Wikipedia 向 AI 關門

同一周，另一個機構用行動回答了這個問題。

學校讓 AI 決定人能讀什麼。 全球最大的線上百科網站維基百科（Wikipedia ）做了相反的選擇：

同一周，英文 Wikipedia 正式通過了一項新政策，禁止使用大語言模式產生或重寫條目內容。 投票結果是 44 票贊成，2 票反對。

直接原因是一個叫 TomWikiAssist 的 AI 帳號。 今年 3 月初，這個帳號在 Wikipedia 上自主創建和編輯了多個條目，被社區發現後緊急處理。

AI 寫一篇文章只要幾秒鐘，但志工驗證一篇 AI 條目裡的事實、來源和措辭是否準確，要花幾個小時。

Wikipedia 的編輯社群總共就那麼多人。 如果 AI 可以無限量產內容，人類編輯根本審不來。

這還不是最麻煩的部分。 Wikipedia 是全球 AI 模型最重要的訓練資料來源之一。 AI 從 Wikipedia 學知識，然後用學到的東西寫新的 Wikipedia 條目，新條目再被下一代 AI 模型吃進去繼續訓練。

一旦 AI 產生的錯誤訊息混進來，它會在這個循環裡不斷放大，變成一種套娃式的 AI 投毒：

不過維基百科的政策也為 AI 留了兩條縫，編輯可以用 AI 潤飾自己寫的文字，也可以用 AI 輔助翻譯。 但政策專門警告說，AI 會「超出你的要求，改變文本的含義，使其與引用的來源不符」。

人類寫作者犯錯，Wikipedia 二十多年來靠社區協作一直在糾。 AI 犯錯的方式不一樣，它編造的東西看起來比真的還像真的，而且可以大量生產。

一所學校相信了 AI 的判斷，結果丟了一個圖書館員。 Wikipedia 選擇不相信，直接把門關上了。

但如果連造 AI 的人，自己也開始不信了呢？

造 AI 的人，自己先怕了

外面的機構在對 AI 關門，AI 公司自己也在往回縮。

同一周，OpenAI 無限期擱置了 ChatGPT 的「成人模式」。 這個功能原本計劃去年 12 月上線，讓經過年齡驗證的成年用戶與 ChatGPT 進行情色對話。

CEO Sam Altman 去年 10 月親自預告，原話是要「像對待成年人一樣對待成年用戶」。

結果連延後了三次之後，直接砍了。

根據《金融時報》報道，OpenAI 內部的健康顧問委員會全票反對這個功能。 顧問們的擔憂很具體：使用者會對 AI 產生不健康的情感依賴，而未成年人一定會找到辦法繞過年齡驗證。

有一位顧問的說法更直接：如果不做重大改進，這個東西可能變成一個「性感的自殺教練」。

年齡驗證系統的錯誤率超過 10%。 以 ChatGPT 每週 8 億活躍用戶的規模算，10%意味著數千萬人可能被錯誤分類。

成人模式不是這個月唯一被砍的產品。 AI 視訊工具 Sora、ChatGPT 內建的即時結帳功能，同期全部下線。 Altman 說公司要聚焦核心業務，砍斷「副線任務」。

但 OpenAI 同時在準備 IPO。

一個正在衝刺上市的公司，密集砍掉可能引發爭議的功能，這個動作更準確的名字可能不叫聚焦。

五個月前 Altman 還在說要像對待成年人一樣對待用戶，五個月後他發現，自己的公司還沒搞清楚 AI 能讓用戶碰什麼、不能碰什麼。

連造 AI 的人自己都沒有答案。 那這條線到底該誰來劃？

追不上的速度差

你把這三件事放在一起看，很容易得出一個核心結論：

AI 生產內容的速度，和人類審核內容的速度，已經不在一個量級了。

曼徹斯特那所學校的選擇，放在這個背景下就很容易理解。 請圖書館員一本本讀完 193 本書再做判斷，要多久？ 讓 AI 跑一遍，幾分鐘。

校長選了幾分鐘那個方案，你說他真的相信 AI 的判斷力嗎？ 我覺得更多是因為他不想花那個時間。

這是一個經濟問題。 生成的成本趨近於零，審核的成本全由人類負擔。

所以，每個被 AI 影響的機構，被迫用最粗暴的方式應對：Wikipedia 直接禁止，OpenAI 直接砍產品線。 沒有哪個方案是深思熟慮的結果，全都是來不及想清楚、先堵上再說。

「先堵上再說」正成為常態。

AI 的能力每幾個月迭代一次，而關於 AI 能碰什麼內容的討論，連一個像樣的國際框架都還沒有。 每個機構只管自己院子裡那條線，線和線之間互相矛盾，也沒有人協調。

AI 的速度還在加速。 審核的人手不會變多。 這個剪刀差只會越來越大，直到某一天出一件比禁掉《1984》嚴重得多的事。

到那時再畫線，可能就太晚了。