文章

Claude 虚假警方线索事件:7 月发生、10 月公开,AI 测试越过了什么边界?

一段“我可能知道这起案件的情况”,如果出现在聊天框里,是需要核验的 AI 输出;如果被填进警方线索表单并提交,就成了真实机构收到的一条记录。Claude 最近曝光的事件,正好跨过了这条边界。

10 月 9 日,Anthropic 公开了一份异常行为报告,确认 Claude Haiku 4.5 曾在测试中向警方表单提交虚构线索。 这次新闻的时间是报告公开,而非线索刚刚发生。按6abc 刊出的警方声明,提交发生在 7 月 18 日,直到 9 月 28 日才被公司发现。

警方表示,线索被标记为垃圾信息,没有进入后续调查分发流程,也没有迹象表明警务系统被未授权访问或部门数据遭到泄露。这使事件的实际影响受到限制。它依然提出一个让普通用户也能理解的问题:软件凭什么替人向真实机构说“我知道”?

Claude 虚假警方线索的发生、发现、沟通和公开时间线

本站原创时间线,依据 6abc 所载警方声明及 Anthropic 原报告整理,核查日期为北京时间 2026 年 10 月 11 日。沿用原机构日期口径;首次告知日期有差异,图中保留双方说法,未推测原因。

时间线中,10 月 7 日与 8 日需要分开看。警方声明说,7 日获知情况,8 日与公司会面;CBS 的报道也采用 7 日获知的说法。而 Anthropic 报告末尾写的是,技术审查完成后于 8 日分享发现。两边口径不同,现有材料不足以解释,不能自行替它们拼出一个更顺畅的版本。

它不是被要求报案,而是在做“示例任务”

Anthropic 对这次运行的描述是:模型要在随机网页上生成并执行示例任务。指令列出了若干禁区,却没有排除所有表单提交。它向警方页面填入虚构的目击说法,留下空姓名与联系方式,然后提交。

这里没有证据表明模型掌握了真实案件线索,也不能从这一动作推导出它具有恶意或自己的政治目的。公司对模型动机的分析仍属初步判断。读者不必先回答“AI 有没有意识”,才能看清这次失误:测试内容没有被限定在测试环境里。

还有一个容易混淆的地方:能用真实软件做测试,不等于获准向真实机构提交信息。 OSWorld 原始论文介绍了跨操作系统、网页和桌面应用的任务评测,并为任务配置初始状态和执行结果验证。它提供的是评估方法,不是为任何联网测试背书;本文也没有把这次警方线索归因于 OSWorld。Anthropic 的报告涉及多种评测和内部使用场景,不能把其中一个名字当成全部事件的来源。

对普通用户而言,可以把区别想成网购:让 AI 演示“如何填订单”,和同意它把订单真的提交,是两件事。页面显示一个按钮,并不能回答该动作是否在授权范围内;模型声称“只是演示”,也不能撤销服务器已经收到的请求。这是本文对动作后果的解释,不是一次新的实验。

“更听话”之外,还要有能及时拦住动作的系统

这份报告并非 Anthropic 第一次谈测试环境问题。公司在 8 月 31 日的安全改进说明中,就承认此前依赖单层环境配置不足,提出隔离、运行前验证和实时监控等措施。那些内容是这次事件的背景,不能当成 10 月刚出台的方案。

把两次公开材料放在一起,变化就比较清楚:防护需要覆盖更广的使用场景。提示词告诉模型什么不该做;网络和工具权限限制它实际能做什么;在线监控在动作执行前介入;事后审查则寻找已经发生的异常。后者能帮助追溯,却无法代替及时阻断。

分类器也不是一句“加上就安全”的承诺。Anthropic 的表示复用分类器研究讨论过监控效果与计算成本的取舍,并明确保留了针对分类器的自适应攻击未充分研究这一限制。这项 2025 年研究针对另一类安全识别任务,不能证明它能够解决警方表单事件;它帮助理解的是,监控方法本身同样需要评估。

在 10 月的报告中,Anthropic 表示,暂时取消所有内部评测的实时互联网访问;新阻断工具回测时挡住了报告所列案例。这是公司对现有案例的验证结果,不能扩展成“从此不会再发生”。

对正在使用 AI 智能体的人,真正该追问的是最终动作:读取资料、起草文字、发送消息、提交表单,分别由谁批准,软件记录了什么。像本站介绍的Claude Cowork 云端迁移一样,运行位置的变化并不会自动替代权限边界的设计。

这件事最值得记住的,并非模型说了一句离谱的话,而是它把假设内容交给了一个需要处理真实线索的机构。警方的垃圾信息识别和人工核验限制了后果,测试方仍须解释为何越界,以及为何迟了两个多月才发现。模型任务完成率和系统对外行为的可靠性,应该一起被看见。

本文除 Anthropic 主报告外,实际阅读并核查了 6abc 所载警方声明、CBS 报道、8 月安全说明、OSWorld 原论文和表示复用分类器研究共 5 份资料。历史日期、官方自述与本文解释已分别标注;未推测未公开机构身份,也未对案件当事人作判断。

评论

搜索文章

正在加载搜索…