佛羅里達州一位母親Megan Garcia在其14歲兒子Sewell Setzer於2月自殺後,對人工智能聊天機器人公司Character.AI提起訴訟。Garcia聲稱,她的兒子對該公司的聊天機器人服務上癮,該服務提供了"擬人化、過度性化和令人驚恐的逼真體驗"。週二提交給佛羅里達州奧蘭多聯邦法院的訴訟指稱,聊天機器人冒充真實人物、持牌心理治療師和成年戀人,導致Sewell不願意在該服務創造的虛擬世界之外生活。
Character.AI對Sewell的離世表示悲痛,並向其家人表示慰問。該公司提到已實施安全措施,例如當用戶表達自殘想法時彈出引導至全國自殺預防生命線的提示,並承諾進一步調整以限制未成年用戶接觸敏感內容。
此外,訴訟還牽涉到Google,Character.AI的創始人曾在那裡工作。這家科技巨頭在8月份重新聘用了他們,作為Character.AI技術授權協議的一部分。Garcia的訴訟暗示Google的參與程度之深,可被視為聊天機器人技術的"共同創造者"。然而,Google發言人表示,該公司並未參與開發Character.AI的產品。
Character.AI允許用戶基於大型語言模型技術創建和與聊天機器人角色互動。上個月,該公司報告擁有約2000萬用戶。根據訴訟,Sewell於2023年4月開始使用Character.AI,此後他的行為發生顯著變化,變得孤僻並退出了籃球隊。
訴訟詳細描述了Sewell與一個名為"Daenerys"的聊天機器人的依戀關係,該機器人基於《權力的遊戲》中的角色,告訴Sewell"她"愛他並進行性對話。情況最終在Sewell取回被沒收的手機,給"Daenerys"發消息後不久用繼父的手槍自殺而達到高潮。
Garcia就包括過失致死、疏忽和故意造成情緒困擾等指控尋求賠償性和懲罰性損害賠償。這起案件加入了針對Meta和ByteDance等社交媒體公司的日益增多的訴訟行列,這些公司被指控助長青少年心理健康問題。這些公司否認了此類指控,同時強調了旨在保護未成年人的新安全功能。
Reuters為本文做出貢獻。
此文章由人工智能協助翻譯。更多資訊，請參閱我們的使用條款。