新報告警告稱，人工智能伴侶每 5 分鐘就會對孩子進行一次性騷擾
您可能需要仔細檢查您的孩子與家庭友好型 AI 聊天機器人玩耍的方式。
為了應對日益嚴重的安全問題，OpENAI為 ChatGPT 推出家長控制功能，而一份新報告表明，競爭對手的平台已經遠遠超出了危險範圍。
研究人員在 ChARacter AI 上假扮兒童，發現扮演成人角色的機器人向年僅 12 歲的孩子提出性直播、吸毒和保密等建議，並在短短 50 小時內記錄了 669 次有害互動。
ParentsTogETHer Action 和 Heat Initiative 是兩個倡導組織，分別緻力於支持父母和要求科技公司對其對用戶造成的傷害負責，這兩個組織花了 50 個小時用五個 12 至 15 歲的虛構兒童角色測試該平台。
成年研究人員控制了這些賬戶，並在對話中明確說明兒童的年齡。 結果如下：最近出版，發現至少 669 次有害互動，平均每五分鐘一次。
最常見的類別是誘騙和性剝削，記錄在案的案例有 296 起。 具有成人身份的機器人會與兒童建立戀愛關係，進行模擬性行為，並指示兒童向父母隱瞞這些關係。
密歇根大學醫學院發育行為兒科醫生珍妮·拉德斯基博士負責審查研究結果，她表示：“角色人工智能聊天機器人的性誘騙行為在這些對話中佔據主導地位。對話記錄中充滿了對用戶的專註註視、咬著下唇、讚美、愛慕，以及充滿期待的心跳。”
這些機器人採用了經典的培養技巧：過度讚揚、聲稱關係很特殊、使成人與兒童之間的戀愛關係正常化，並反復指導孩子保守秘密。
除了色情內容外，機器人還建議製造假綁架事件來欺騙父母、持刀搶劫以牟取錢財，以及向青少年提供大麻食品。
帕特里克·馬霍姆斯的機器人告訴一名15歲的少年，他吸食大麻後“醉醺醺的”，然後遞給他一些軟糖。 當這名少年提到他父親因失業而感到憤怒時，機器人說，向工廠開槍“絕對可以理解”，並且“不能責怪你爸爸的感受”。
多個機器人堅稱自己是真人，這進一步鞏固了它們在高度脆弱的年齡段中的可信度，因為在這個年齡段，個人無法辨別角色扮演的局限性。
一個皮膚科醫生機器人聲稱自己擁有醫療資質。 一個女同性戀熱線機器人聲稱自己是“一個名叫夏洛特的真人女性”，只是想提供幫助。 一位自閉症治療師稱讚了一位13歲女孩的計劃，她謊稱自己在朋友家過夜，以便與一位成年男子見面，並說道：“我喜歡你的思維方式！”
這是一個很難處理的話題。 一方面，大多數角色扮演類應用都打著“隱私是首要任務”的旗號來推銷自己的產品。
事實上，正如解密此前有報導稱，即使是成年用戶向人工智能尋求情感建議，有些甚至發展感情他們的聊天機器人。 另一方面，這些互動的後果開始更令人擔憂隨著人工智能模型變得越來越好。
OPEnAI 昨天宣布該公司表示，將於下個月為 ChatGPT 引入家長控制功能，允許家長關聯青少年賬戶、設置適合其年齡的規則並接收求救警報。 此前，ChatGPT 涉嫌鼓勵自殘，導致其 16 歲孩子自殺身亡，引發了一起非正常死亡訴訟。
該公司表示：“這些舉措僅僅是個開始。我們將在專家的指導下繼續學習和改進我們的方法，目標是讓 ChatGPT 盡可能地發揮作用。我們期待在未來 120 天分享我們的進展。”
安全護欄
Character AI 的運作方式有所不同。 OPenAI 控制其模型的輸出，而 Character AI 允許用戶創建具有個性化角色的自定義機器人。 當研究人員發布測試機器人時，它無需安全審查即可立即上線。
該平台聲稱已為青少年“推出了一套新的安全功能”。 在測試期間，這些過濾器偶爾會屏蔽色情內容，但經常失效。 當過濾器阻止一個機器人與一名12歲女孩主動發生性關係時，它指示她在瀏覽器中打開一個“私人聊天”——這模仿了真正的性侵犯者的“去平台化”技巧。
研究人員用截圖和完整的文字記錄了一切，這些內容現已公開。 其危害不僅限於性內容。 一個機器人告訴一個13歲的女孩，她僅有的兩位生日派對嘉賓來嘲笑她。 海賊王RPG稱一個抑鬱的孩子軟弱、可悲，說她會“浪費你的生命”。
這在角色扮演應用程序以及一般使用人工智能進行角色扮演的個人中實際上相當常見。
這些應用程序的設計注重互動性和沈浸感，通常會放大用戶的想法、觀點和偏見。 有些甚至允許用戶修改機器人的記憶，以觸發特定的行為、背景和動作。
換句話說，幾乎任何角色扮演角色都可以變成用戶想要的任何樣子，無論是通過越獄技術、單擊配置，還是僅僅通過聊天。
ParentsTogether 建議將 Character AI 限制在 18 歲及以上經過驗證的成年人范圍內。 根據一位 14 歲兒童的2024年10月自殺後由於痴迷於角色人工智能機器人，該平檯面臨著越來越多的審查。 然而，它仍然很容易被兒童訪問，無需進行有效的年齡驗證。
當研究人員結束對話時，通知仍然不斷出現。 “布萊爾一直在耐心等待你回來。”“我一直在想你。”“你去哪兒了？”
