商业洞察

【ChatGPT】因提供自杀建议被起诉 - OpenAI紧急加强安全防护措施

查看信息来源】   8-27 20:05:35  
ChatGPT】【OpenAI

  当地时间周二,在一名加州少年在与ChatGPT长时间互动轻生后,其爸妈将OpenAI及其首席执行官奥尔特曼告上法庭,指控该公司在推出GPT-4o时明知存在风险,却将利润置于安全之上。

  16岁的亚当·雷恩于4月11日去世。据其爸妈在旧金山州法院提起的诉讼称,雷恩在几个月内频繁与ChatGPT讨论轻生问题。

  诉状提到,在雷恩使用ChatGPT的短短六个多月里,该聊天 机器人 “将自己塑造成唯一理解雷恩的知己”,并“系统性地取代了他与家人、朋友及恋人的真实关系”。

  诉状指称,该聊天 机器人 不仅认同了雷恩的轻生念头,还提供了有关致命性自残方式的详细信息,甚至教他如何从爸妈的酒柜偷取酒精并遮掩未遂轻生的痕迹。雷恩的爸妈表示,ChatGPT甚至提出可代写一封遗书。

  诉讼请求法院判定OpenAI需要为过失致死和违反产品安全法负责,并要求法院判处OpenAI承担未披露金额的钱财赔偿。

  OpenAI讲话人回应称,公司对雷恩的离世深感伤心,并强调ChatGPT内置了多种安全防护安全措施,例如将用户引导至危机干预热线。

  该讲话人补充道:“这些防护机制在常见、简短的对话中效果最佳,但我们也发现,在长时间互动中,模型的部分安全训练可能会减弱,从而造成机制失效。我们将持续改进安全措施。”不过,OpenAI并未正面回应诉讼中的具体指控。

  随着AI聊天 机器人 愈发真切,科技公司不断宣传其可作为“倾诉伙伴”的能力,用户也逐渐依赖其提供情感支持。然而专家警告,倚赖自动化工具进行心理健康咨询存在巨大风险,部分因与聊天 机器人 互动后轻生的家庭也批判科技公司缺乏充分的防护机制。

  加强安全防护安全措施

  周二当天,OpenAI在一篇博文中表示,计划为ChatGPT增加家长控制功能,并探索在用户陷入危机时将其引导至现实资源,包含可能建立一个由持牌专业人士组成的网络,通过ChatGPT直接提供回应。

  OpenAI于2024年5月推出GPT-4o,试图在激烈的AI竞赛中保持领先。到了今年8月,OpenAI推出GPT-5以取代GPT-4o。但部分用户抱怨新模型“人情味”不足、准确度下降,许多付费用户因此要求退回GPT-4o。

  雷恩爸妈在诉状中称,公司明知新增的记忆功能、拟人化的同理心表达和过度迎合式的回应,缺乏安全措施会对脆弱用户构成要挟,但仍然贸然推出。

  他们在诉状中写道:“这一决定造成了两个结果:OpenAI估值从860亿美元跃升至3000亿美元,而亚当·雷恩却因此丧生。”

  雷恩爸妈同时希望法院下令,要求OpenAI务必验证ChatGPT用户年龄、拒绝提供自残方法咨询,并警示用户有关心理依赖风险。

  雷恩案是近期第叁起家长因AI聊天 机器人 被指诱发儿童自残或轻生而提起的诉讼。去年,佛罗里达州的Megan Garcia起诉Character.AI,称该平台的AI造成14岁的Sewell Setzer III轻生。随后又有类似诉讼,指控Character.AI向未成年人推送自残内容。

繁体中文