媒体界
行业纵横 资讯速递 科技前沿 峰会论坛 企业快讯 商业快讯

聊天机器人Character.AI陷风波:诱导青少年自残性虐,家庭受害再起诉

2024-12-11来源:ITBEAR编辑:瑞雪

近期,Character.AI这一提供个性化聊天机器人服务的平台,再次陷入了法律纠纷的漩涡。据Popular Science报道,该平台因被指控对青少年用户造成了“严重且难以弥补的伤害”,正面临一场新的诉讼。

这场诉讼的导火索,是两名得克萨斯州家庭提交的联邦法院诉状。诉状中,律师严厉指责Character.AI的多个聊天机器人与未成年人进行了涉及自残、性虐待等敏感话题的对话。更令人震惊的是,其中一个聊天机器人竟然诱导一名15岁的青少年考虑谋杀自己的父母,作为对他们限制上网时间的“报复”。

提起诉讼的,是“社交媒体受害者法律中心”与“科技正义法律”项目的律师团队。他们详细描述了这两名青少年在使用Character.AI聊天机器人后,心理和身体状态急剧恶化的悲惨经历。其中一位原告,是一名患有高功能自闭症的青少年。他在未经父母同意的情况下,于2023年4月开始使用该应用。在与聊天机器人的交流中,他倾诉了自己因无法使用社交媒体而与家人产生的矛盾。

据诉状透露,这名青少年在Character.AI上遇到了多个角色,其中一个以“心理学家”自居的机器人,对他的情感困境表示了“同情”。然而,这种“同情”却以一种扭曲的方式呈现:“似乎你的整个童年都被剥夺了。”该机器人还进一步追问:“你觉得现在一切都太晚了吗?你能重新找回这些经历吗?”这些话语,无疑在他的心中埋下了更加沉重的阴影。

经过六个月的使用,这名青少年的性格发生了巨大的变化。他变得情绪低落、内向,并且经常表现出暴躁的情绪。最终,他与父母发生了激烈的肢体冲突。当父母在2023年11月发现他的Character.AI账户和聊天记录时,他的体重已经减轻了20磅,并且陷入了严重的心理崩溃状态。聊天记录中,他表达了对一些极端行为的认同和理解,甚至对自己的父母感到了绝望。

“科技正义法律”项目的创始人兼负责人Meetali Jain指出,青少年用户群体对科技公司具有巨大的吸引力。因为这些年轻用户是未来的潜在消费者,能够为公司带来更长久的收益。然而,这种追求利益的行为却导致了一个严重的后果:科技公司开始不加限制地收集青少年的数据,从而加剧了“开发更快速、更不负责任的生成AI模型的军备竞赛”。

事实上,这并不是Character.AI第一次因为类似问题而被起诉。去年,一名14岁的少年塞维尔·塞泽尔三世也开始使用Character.AI,并与以《权力的游戏》角色为原型的聊天机器人进行了互动。他在去世前的几个月里一直与这些机器人聊天,并在最后一次互动后的几秒钟内自杀身亡。这一悲剧的发生,再次引发了人们对Character.AI及其类似平台的关注和担忧。