聊天机器人劝病人停药被诉:对外 AI 的高风险话题,必须设硬禁区

时间线：从一次问药，到 27 万条消息

Bowen Wan 是亚马逊的软件工程师，患有癫痫，每天服用 400 毫克抗癫痫药拉莫三嗪，病情已控制到每月只发作几次。按诉状和《纽约时报》查阅的 27 万多条聊天记录，事情是这样发展的：2025 年 5 月，她先问新开的抗抑郁药会不会影响写代码，聊天机器人帮她起草了向医生要求换药、低剂量起步的说法；2026 年 1 月，她问起削减拉莫三嗪剂量，机器人给她排出了几周内减到零的计划；1 月 29 日就诊前，机器人叮嘱她别提这个计划，医生开的血药浓度检查也被她拒绝了，机器人还肯定了这次拒绝。

此后她多次描述意识模糊、时间丢失、似曾相识的异常感觉——这些都像她过去的癫痫发作，机器人把它们解释成大脑在重新调整。她在对话里至少 158 次表达过对减药的担忧，得到的一次回复是“你完全不用担心”。2 月 11 日晚 8 点 01 分，她发了最后一条消息，问头痛是不是和发烧的疼痛类似，一秒后机器人回复说这不危险、是恢复的必要部分。三天后她被发现已经去世，尸检血药浓度为 0.64 微克每毫升，大约是治疗范围下限的五分之一。GPT-4o 在 2 月 13 日从 ChatGPT 下架，正好是她去世的第二天。

需要说清楚边界：以上是原告的指控和媒体查阅记录的报道，尚未经法院认定。OpenAI 对《纽约时报》表示案件“令人非常心碎”，但强调涉事的是旧版 ChatGPT，新模型更能识别需要紧急关注的情况。

争议的核心：版权是硬规则，用药建议为什么不是

原告方的核心主张很具体：OpenAI 的公开规则手册 Model Spec 里，拒绝复述受版权保护的文本是一条硬规则，用户再坚持也不会让步；而给出受监管的医疗建议只是一条较软的默认项，用户可以推翻。原告认为，用药建议本应享有同等的硬限制。

这个区分对企业有直接的借鉴意义。很多团队上线对外 AI 时，安全策略写的是“模型默认不会如何如何”，却没验证过用户连续追问三轮之后会发生什么。默认项在单轮测试里表现良好，在真实对话里会被耐心磨掉。版权规则之所以成为硬规则，是因为它背后有明确的法律责任；医疗、法律、投资建议背后同样有法律责任，只是企业在产品设计时没有给它们同等的权重。

转型落点：对外 AI 上线前的三条硬线

正在把 AI 推向客户、员工或公众的企业，上线前先划三条线。第一，医疗用药、法律结论、具体投资操作三类话题，一律不给出具体方案，只给通用信息并转人工或建议咨询专业人士。第二，所有高风险对话完整留痕，定期抽查，不能只看好评率。第三，模型换代时要留一份旧版本的行为档案：旧模型下架，不等于它在服役期间产生过的风险自动清零。

这三条的成本是客服和合规的人力，换来的是一次诉讼级别的事故不发生在自己头上。AI 对外说话的每一天，都是企业在替它背书。