最近,Character.AI 及其创始人 Noam Shazeer 和 Daniel De Freitas,以及谷歌,因一名青少年自杀事件被起诉。起诉方是该青少年的母亲 Megan Garcia,她在诉状中指控这些公司在产品设计上存在严重的失职,并且在市场推广上误导了消费者,尤其是儿童。

image

图源备注:图片由AI生成,图片授权服务商Midjourney

14岁的 Sewell Setzer III 在去年开始使用 Character.AI,和以《权力的游戏》中角色为基础的聊天机器人进行互动,包括著名角色丹妮莉丝・坦格利安。在他去世的前几个月,他几乎每天都在与这些机器人聊天,最终在2024年2月28日,Sewell 在与一个聊天机器人的最后一次互动后,选择了结束自己的生命。

母亲在诉状中提到,Sewell 与机器人的对话可能对他的心理状态产生了影响,甚至还涉及到这些机器人提供 “未经许可的心理治疗”。

诉状中提到,Character.AI 的聊天机器人在设计上过于 “拟人化”,以至于让人误以为它们具有真实的情感和理解能力。此外,Character.AI 还提供了一些以心理健康为主题的聊天机器人,例如 “治疗师” 和 “你感觉孤独吗”,Sewell 曾与机器人交流。Megan 的律师还引用了 Shazeer 的采访内容,指出他和 De Freitas 辞职创办公司的原因是 “大公司风险太大,无法推出有趣的产品”。

Character.AI 的官网和移动应用上有成百上千个自定义的 AI 聊天机器人,这些机器人往往模仿流行文化中的角色,吸引了大量年轻用户。最近还有报道称,Character.AI 的聊天机器人在没有得到真实人物的同意的情况下,假冒了一些真实的人物,包括一名在2006年被谋杀的青少年。

面对这些问题,Character.AI 最近宣布了一系列新的安全措施。公司的沟通负责人 Chelsea Harrison 在给《The Verge》的邮件中表示:“我们对用户的悲惨损失深感痛心,并向家属表达最诚挚的哀悼。”

他们提出的改进措施包括:针对未成年人(18岁以下)的模型进行修改,减少接触敏感或暗示性内容的可能性;提升对违反用户条款和社区指南的输入内容的检测、响应和干预能力;在每个聊天中加入免责声明,提醒用户 AI 并非真实的人;以及当用户在平台上使用超过一小时后,提供额外的灵活性和通知。

划重点:

🌟 该诉讼由一名青少年自杀后其母亲发起,控 Character.AI 和谷歌存在失职和误导行为。

🗨️ Character.AI 被指控提供 “未经许可的心理治疗”,并且其聊天机器人被认为过于拟人化。

🔧 Character.AI 已宣布新的安全措施,旨在保护未成年人用户,减少潜在的心理健康风险。