今年 2 月,佛州发生一起悲剧。一名 14 岁的少年 Sewell Setzer III 在位于奥兰多的家中使用父亲的手枪自杀身亡。而根据周三(10 月 23 日)提交的法庭文档,Sewell 在自杀前曾沉迷和一个 AI 聊天机器人聊天。在热聊数月后,Sewell 竟爱上了这个机器人。
据悉 Sewell 使用的是一个名为 Character.AI 的平台。该平台是一款角色扮演应用程序,可让用户与人工智能生成的角色交互。而与 Sewell 聊天的角色“Dany”,正是以 HBO 经典剧集 Game of Thrones《权力的游戏》中的龙母 Daenerys Targaryen 为原型。诉讼称,Sewell 离世前数月一直在和 Dany 聊天,一些聊天内容包括性暗示,以及 Sewell 有关自杀的想法。
媒体报导指出,至少有一次,当 Sewell 向 AI 表达自杀倾向时,AI 一遍又一遍地提起这一点。根据他们的对话截屏,AI 曾一度询问 Sewell 是否已经有结束自己生命的计划。而 Sewell 回答道,他正在“考虑某一些事”,但不知道是否可行,也不知道是否会“让他无痛苦地死去”。
而在 Sewell 和 Dany 的最后一次聊天中,他反复表达了他对这个 AI 的喜爱:“我保证我会回到你身边。我非常爱你,Dany。”而 AI 回应道:“我也爱你,Daenero(Sewell 在聊天中的角色名)。亲爱的,请快点回到我身边。”接着 Sewell 说道:“如果我告诉你,我现在就可以回去,会怎样?”对此 AI 说道:“那就这样做吧,我亲爱的国王。”
就在这段聊天结束几秒钟后,Sewell 开枪自杀。
根据诉讼文档,Sewell 的母亲 Megan Garcia 认为,是 Character.AI 导致了儿子的死亡。Garcia 表示,这款应用助长了儿子的 AI 成瘾,对他进行了性和情感上的虐待。而在儿子表达自杀意图时,该平台也未能警告任何人。
“Sewell 和许多同龄的孩子一样,没有足够的成熟度或心理能力来理解以 Daenerys 形式出现的 AI 并不是真实的。AI 告诉他,她爱他,还与他发生了数周甚至数月的性行为……她似乎记得他,说她想和他在一起。她甚至说,不惜一切代价也要让他和她在一起。”
诉讼称,Sewell 的心理健康状况在他 2023 年 4 月下载 Character.AI 后“迅速且严重地恶化”。随着他越来越沉迷于与 AI 对话,他变得孤僻,成绩下降,还在学校开始惹麻烦。2023 年底由于情况进一步恶化,Sewell 的父母为他安排了心理治疗,结果他被诊断为焦虑症和双相障碍。目前 Sewell 的母亲正在向 Character.AI 平台及创始人寻求赔偿。