角色 AI 在青少年用户自杀后实施新的安全规则
一名 14 岁的少年爱上了《权力的游戏》主题聊天机器人，然后开枪自杀，这是困扰 Character AI 的最新一起事件。
在今年 2 月一名自杀身亡的青少年用户的母亲提起诉讼后，人工智能聊天机器人平台 Character AI 正在推出 "严格 "的新安全功能。
公司发言人告诉Decrypt，这些措施将包括 "改进对违反我们的条款或社区指南的用户输入的检测、响应和干预"，以及耗时通知，并指出公司不能对未决诉讼发表评论。
不过，Character AI 确实对用户的死亡表示了同情，并在 周三的 一篇博文中概述了其安全协议 。
"Character.ai在推特上写道："我们对一位用户的不幸去世感到痛心，并向其家人表示最深切的慰问。"作为一家公司，我们非常重视用户的安全。
据《 纽约时报》报道，在去世前的几个月里，14 岁的佛罗里达州居民塞维尔-塞泽尔三世（Sewell Setzer III）对一个以《权力的游戏》角色丹妮莉丝-坦格利安（Daenerys Targaryen）命名的用户生成聊天机器人的感情越来越深。他经常每天与该机器人互动数十次，有时还交换浪漫的性爱内容。
据《纽约时报》报道，Setzer 在临死前与机器人进行了交流，并曾表达过自杀的想法。
塞泽尔的母亲、律师梅根-加西亚（Megan L. Garcia）周二提起诉讼，要求 Character AI 及其创始人诺姆-沙泽尔（Noam Shazeer）和丹尼尔-德弗雷塔斯（Daniel De Freitas）为儿子的死亡负责。诉状称，被告 "选择支持、创造、推出并针对未成年人使用他们明知危险和不安全的技术"。加西亚要求的赔偿金额不详。
谷歌公司和 Alphabet 公司也被列为被告。谷歌在今年 8 月重聘了 Shazeer 和 De Freitas，作为 27 亿美元交易的一部分，这两人在 2021 年离开这家科技巨头，创办了 Character AI，交易还包括授权这家聊天机器人初创公司的大型语言模型。
除其他安全措施外，Character AI 还 "在过去六个月里实施了许多新的安全措施，包括通过自残或自杀意念的术语触发弹出式窗口，引导用户拨打国家自杀预防生命热线"，该公司在声明中说。该公司还将改变其模型，"以减少18岁以下用户遇到敏感或暗示性内容的可能性"。
Character AI 是市场上众多人工智能伴侣应用程序之一，这些应用程序的安全准则往往不如 ChatGPT 等传统聊天机器人严格。Character AI 允许用户定制自己的伴侣并指导其行为。
这起诉讼是在家长们越来越担心技术对儿童和青少年心理影响的情况下发生的，诉讼声称他对机器人的依恋对他的心理健康产生了负面影响。据《泰晤士报》报道，塞泽从小就被诊断患有轻度阿斯伯格症，最近又被诊断患有焦虑症和破坏性情绪失调症。
该诉讼是法院正在审理的几起诉讼之一，这些诉讼正在检验《通信体面法》第 230 条为社交媒体公司提供的法律保护，该条款使社交媒体公司免于承担与用户生成的内容相关的责任。TikTok 正在申请重审一起案件，在这起案件中，一名 10 岁女孩在试图完成其在应用程序上看到的 "停电挑战 "时死亡，法官裁定 TikTok 应承担责任。这是 Character AI 面临的最新问题，该公司上个月因托管一个以谋杀受害者名字命名的聊天机器人而遭到抨击。
Related News
© 2025 DeFi.io