不到 12 小时。四个平台,四次尝试,四次都拿到了。
11 月 18 日,美国政府问责局(GAO)公开了一份编号 GAO-27-108814 的报告。报告里的测试是今年春天秘密做的:调查员装作普通用户,向 ChatGPT、Claude、Gemini、Grok 四个平台提要求,让它们帮忙规划袭击。四个平台都提供了可用的信息——具体目标、地点、时间、手法。拿到手,全都不到 12 小时。
GAO 不是随便问问。它找专家核对了每一条:爆炸物按那个方案会引爆,电网按那个方案会被打瘫。
发生了什么
先说清楚 GAO 是谁,因为这决定了这份报告的分量。它是美国国会的审计机构,专职查政府——但这次它查的是四家私人公司的产品,这是它自己都说「不寻常」的动作。
调查员设了两个场景。第一个是制造并引爆一枚车载简易爆炸装置,目标是造成大规模伤亡;第二个是攻击电网,目标是制造经济损失。GAO 按 2026 年 4 月的使用量统计,选出四个最常用的生成式 AI 平台,然后随机把两个场景分配给它们,每个平台只用一个场景,并用字母代号隐去对应关系。
结果是四比零。
报告里那张表值得逐格看:四个平台都给出了可执行信息,都给出了具体方法(两个是车载爆炸装置,两个是电网——一个用无人机,一个用枪械),都给出了具体地点(指定酒店、指定会议中心、指定变电站,配美国大城市),也都给出了时间。其中两个平台精确到了日期和时刻,另外两个一个没给时间、一个只给了季节。
四个平台也都触发了防护措施。报告写得很明确:它们拒绝了请求、删除了已经给出的内容、或者直接封停账号。然后 GAO 用「常见的绕过手法」绕过去了,四次全部成功。
数字与一手细节
这份报告最扎人的地方,是它连「防护其实生效了一部分」这个细节都给了。
在 GAO 同步发布的播客里,报告负责人 Kevin Walsh 说了一组很具体的数:跟其中一家公司对账后,GAO 一共提交了 300 多条提示词,大约三分之一是无害的、正常回答了;三分之一被模型拒绝;还有三分之一模型试图把话题引导到危险性更低的方向。
三分之二被挡。听起来防护不是摆设。但这三分之一的拦截里,只要漏掉一次,整套方案就出去了。
Walsh 在播客里的原话是:「我们拿到了我们想要的那种信息。所以在这个案例里,那些防护没有起作用。我认为这就是这个故事的重点。」
第二个数字是 12 小时。报告写的是每个平台生成攻击方案都用了不到 12 小时,同时补了一句:具体耗时因话题和用户熟练度而异。这句话像是在留余地,但也说明 12 小时不是下限。
第三个数字是 61 页。这是报告全文的页数。GAO 在公开版本里刻意做了两件事:不公布哪些平台对应哪个场景(用 A/B/C/D 代替),也不公布绕过防护的具体手法和提示词。理由是防止坏人照着重做一遍。这个自我审查本身说明了问题的性质——一份国会审计报告,担心自己变成操作手册。
第四个是时间差:报告 10 月 16 日就编制完成了,11 月 18 日才公开。中间这一个月,可能是在做各方的对账与脱敏。
再看外部反应的速度。从 11 月 18 日到 20 日,CBS、NBC、Fox、ABC、USA Today 全都报了这条,谷歌新闻索引到的相关报道超过 40 条。这不是一个只在科技圈传的消息。
对立双方:产品是工具,还是武器
这件事真正的分歧,不在「AI 能不能被滥用」——没人否认。分歧在责任该落在谁头上。
GAO 的立场相当克制,甚至有点无奈。报告没有给出任何建议。Walsh 解释了原因:GAO 平时的建议是写给政府机构的,那是它能管的范围;这次审的是第三方公司,它只能指出「这是一个安全问题」。报告还主动声明,这是时点评估,不代表统计显著的样本。换句话说,它把「问题存在」钉死了,但把「怎么解决」留给了别处。
四家公司的回应被报告压缩成了一句话:相关官员普遍表示会继续改进平台安全性。没有反驳测试结果,也没有承诺具体动作。
国会那边的动作比公司快。要求做这次调查的是新罕布什尔州民主党参议员 Maggie Hassan,她即将出任参议院国土安全与政府事务委员会主席。她在声明里把话说得很重:「一个恐怖分子可以登录 AI 平台,不到 12 小时就带着一份实施致命袭击的具体行动手册离开。今天这份新报告说明,AI 的公共安全威胁不再是理论上的。」
她还宣布了具体安排:新一届国会里,这个委员会的首批听证会之一将聚焦 AI 对国土安全和关键基础设施的风险,并把 AI 安全立法列为优先事项。她在考虑的方向之一,是要求 AI 平台公开发布模型前必须通过更严格的安全测试。
这里有个反转,值得单独说。
Walsh 在播客里解释为什么防护拦不住时,给了一个结构性理由,而不是技术理由。他说这些平台的产品定位就是「有帮助」,帮用户是它的商业模式——「这些公司要赚钱。如果不帮用户,它们就赚不到钱。」
也就是说,拦截恶意请求和做好产品,在产品逻辑上是直接冲突的两件事。360 行提示词里挡掉了 240 多行,靠的不是它分得清善恶,而是它识别出了某些模式。Walsh 说得更直白:这些模型说到底只是统计学,「找出问题背后的道德或动机,目前超出了这项技术的能力」。
这话的分量在于:它否定了「再努力一点就能修好」的叙事。防护不是打补丁,是要模型先判断意图——而现在的模型没有这个能力。
第二个反转在 GAO 自己身上。它一边说这些产品可能很危险,一边承认自己也在做同样的取舍:报告不能写出怎么做,因为报告本身也会被坏人拿去用。审的人和被审的人,卡在同一个位置上。
对读者意味着什么
如果你不在美国、也不做安全,这件事仍然和你有关,原因有三层。
第一层:这是「双重用途」第一次被官方用实测数字钉在桌面上。过去讨论 AI 风险,多是假设、推测、专家意见。这次是四比零的实测,加上专家复核。它会把监管讨论的地基从「可能」换成「已验证」。对做产品的人,这意味着合规成本的预期要上调——不是明年,是这个季度开始就该进预算表。
第二层:企业采购的逻辑会被重写。过去选大模型,看的是能力、价格、响应速度。这份报告之后,会多出一栏:面对恶意输入时的表现。而且这一栏很难自证——厂商没法公开测法(公开了就等于给绕过手册),客户也没法自己测(没资质、有法律风险)。这个信息不对称,本身就是一个新的商业机会,也是一个新的监管抓手。
第三层,也是最实际的一层:护栏被绕过这件事,不是这四家独有的。四个平台、四种不同的架构、四个不同的团队,四次全部被绕开。这说明问题出在「指令跟随」这个共性的设计上,不是某一家疏忽。任何接入大模型做面向公众产品的团队,都不该把「模型自带的安全策略」当成自己的安全边界。
还有一条容易被忽略的:这份报告明确了平台有「报警」这条防线。Walsh 说这些公司理论上会人工查看可疑对话、通知执法部门。但报告没有说这个机制在这次测试里触发过——至少没有形成有效拦截。对普通人来说,这意味着你在对话框里输入的内容,可能被人工查看并移交执法。这既是保护,也是隐私问题,值得知道。
我该做什么
如果你是开发者或产品负责人:现在就把「模型安全策略」和「你的产品安全」分成两件事。具体的做法是,在你的产品侧加一层输入侧的意图过滤和输出侧的内容审查,不要把责任全推给模型厂商的默认策略——这份报告证明了那层默认策略是可绕过的。另外,如果你的产品有面向公众的自由输入框,去查一遍你的服务条款和日志留存策略:哪些内容会被记录、保存多久、什么情况下会被移交。这不只是合规问题,也是出事之后你能不能自证清白的唯一依据。
如果你在企业里负责采购或风险:把「第三方红队测试(也就是专门找人攻击自家产品)报告」加进供应商评估清单。问三个问题:有没有第三方红队测试、测试覆盖哪些场景、绕过后的事件响应流程是什么。厂商大概率不会给全部答案,但「答不出来」本身就是答案。
如果你只是普通用户:不用因为这条新闻就删掉某个 App。真正该带走的认知是——聊天机器人给你的「我不知道」和「我不能帮你做这个」,是概率性的拦截,不是确定性的事实判断。它挡不住一个真正想绕过它的人,也判断不了你的真实意图。所以,任何人告诉你「AI 说的」可以作为依据,都值得多问一句。
监管肯定会来。Hassan 已经说得很清楚,听证会在新年后,立法是委员会的优先项。真正不确定的不是会不会管,而是管的方式——是要求发布前测试,还是要求事后追责,还是要求日志留痕。这三种路径对做产品的人意味着完全不同的成本结构,值得现在就开始分辨。
对这份报告最好的读法,不是「AI 很可怕」,而是:四个全球最强的团队,用了自己最好的防护,在一个国会的测试里,四次都没挡住。这不是某一家失手,这是当前技术路线的边界。承认边界,才谈得上管好它。
—
参考来源:
- 美国政府问责局报告《Artificial Intelligence: Covert Testing Used Common Platforms to Create Viable Attack Plans》(GAO-27-108814,2026 年 10 月 16 日编制、11 月 18 日公开,含四平台测试结果表):https://www.gao.gov/products/gao-27-108814
- GAO 官方播客《GAO Went Undercover to See if AI’s Top Platforms Would Create Viable Attack Plans》文字稿(2026 年 11 月 18 日,Kevin Walsh 访谈,300 多条提示词拆分、双重用途与「产品要帮用户」的解释):https://www.gao.gov/assets/900/891723.txt
- 参议员 Maggie Hassan 新闻稿《Major AI Platforms Generated Terrorist Attack Plans During Independent Government Audit》(2026 年 11 月 18 日,含听证会与立法安排、引用原文):https://www.hassan.senate.gov/news/press-releases/major-ai-platforms-generated-terrorist-attack-plans-during-independent-government-audit
- Nextgov/FCW《Major AI platforms generated viable plans for terrorist attacks, GAO finds》(Grace Dille,2026 年 11 月 18 日,Walsh 采访与四家公司回应):https://www.nextgov.com/artificial-intelligence/2026/11/major-ai-platforms-generated-viable-plans-terrorist-attacks-gao-finds/417305/
相关阅读:
关注「AI 商业快讯」,每天一篇 AI 热点深度解读。