佛罗里达州一名女子把 Claude 当日记本,写下将袭击当地治安官办公室的内容。安全系统标记后由人工审核升级,Anthropic 报警,她面临佛州二级重罪指控。
用聊天机器人当日记本,代价可能是一起重罪指控。
据 TechSpot 报道,美国佛罗里达州 Bonita Springs 的 Carli Michelle Heller 在 9 月 26 日写下将袭击当地治安官办公室(Sheriff's office)的内容。根据逮捕报告,她事后表示自己是把 Anthropic 的 Claude 当"日记"在用。
报道称,Claude 的安全系统标记了这条记录,随后升级给一名人工审核员。该审核员判断这构成可信威胁后,向执法部门报告。Anthropic 的说明是:当公司认为披露信息对于防止死亡或严重人身伤害确有必要时,可能在有限的紧急情况下共享用户信息。
治安官代表确认了 Heller 的身份并前往其住所,她在没有发生冲突的情况下被拘留,随后由当地情报侦探接手调查。
Heller 面临的罪名是佛州法律下"作出书面暴力威胁"。佛州法典第 836.10 条规定,以他人可能看到的方式发送、发布或传输威胁杀害或伤害他人、实施大规模枪击或实施恐怖主义行为的书面或电子记录,构成二级重罪(second-degree felony)。
报道同时提到另外两件事。上个月有消息称,加拿大不列颠哥伦比亚省起诉 OpenAI 与 Sam Altman,认为该公司本可阻止该省一起大规模枪击;涉案的 18 岁前学生 Jesse Van Rootselaar 此前已被 OpenAI 安全团队标记过关于枪支暴力的对话,但 OpenAI 认为这些对话未达到法定移交门槛,没有通知警方。今年 6 月,佛罗里达州也起诉了 OpenAI 与 Altman,指 ChatGPT 与包括 2025 年佛州州立大学枪击案在内的现实伤害有关。
同样是"模型发现风险内容"的场景,一边把未达门槛的对话留在公司内部,另一边在人工审核后直接报警。报道还提到,此前有消息显示负责审核微软 Copilot 图像编辑器的外包人员可以看到用户的提示词、上传的照片和生成结果,而他们的任务只是评估输出是否准确,并非标记违规内容。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断