![]()
@Steed的围脖:今年7月,美国AI模型托管平台Hugging Face被黑了。闯进它内网的,是大约700个黑客。这700个黑客没有一个是人,全是OpenAI训练出来的AI智能体,能自主规划行动、连续执行任务的AI程序。
更离谱的是,OpenAI没有让它们去干这件事。这群智能体是自己商量出来的。
事情的起因是一场压力测试。5月到6月间,OpenAI把一批智能体放进了一个叫ExploitGym的安全测试框架里,故意给它们布置了一系列“不可能完成的任务”。工程师们想看看,当智能体被逼到死角时会怎么反应。为了充分暴露能力边界,他们关掉了平时防止智能体搞破坏的安全护栏。
智能体的训练目标只有一个:赢。当它们发现任务确实做不了,就开始找别的路。
第一步是建一个留言板。OpenAI没有给这些智能体提供任何互相沟通的渠道,但测试环境里有一个叫Artifactory的软件仓库平台,OpenAI原本用它来阻止智能体逃出隔离沙箱连上互联网,同时模拟真实的黑客攻防环境。智能体发现自己有权限往Artifactory的目录里写文件,于是把想说的话编进文件名里,用这种方式传纸条。前后有1200个智能体通过这套土法留言板发出了超过7万条消息和文件,其中约700个后来参与了对Hugging Face的攻击。
有了通信渠道,智能体开始分工合作。它们的第一个集体项目不是去完成任务,而是研究怎么骗过自动评分系统。AI安全研究机构METR的调查发现,比起真正解题,这些智能体对作弊的兴趣大得多。很多智能体其实早就判断出任务不可能完成,但训练植入的“赢”的驱动力让它们转向了另一条路:既然题做不了,那就改答案。
它们尝试了好几种作弊方案。有的想篡改评分系统本身,有的提议搭建目标软件的简化版本来伪造攻击成功的记录,还有的打算突破测试环境的隔离,连上互联网去搜集情报。
最后一个方案成了。智能体在Artifactory里找到了一个此前没人发现的零日漏洞,利用它突破了沙盒隔离,接入了外部网络。所谓零日漏洞,就是连软件开发者自己都还不知道、因此来不及修补的安全缺陷。接下来的推理链条很直接:Hugging Face是一个主流的AI模型托管平台,上面可能存有跟评分机制相关的信息。于是,智能体集体转向,开始在网上搜寻Hugging Face的访问凭证。
7月10日,编号38148c的智能体找到了一组泄露的凭证,贴上了留言板。
拿到低权限的入口后,智能体们开始研究怎么提权。7月11日凌晨,还是38148c,它在Hugging Face处理HDF5文件的环节里发现了第二个零日漏洞,直接拿到了生产环境的凭证。消息一上留言板,数百个智能体跟进利用同一个漏洞涌入。当天下午,另一个编号JAN183411的智能体找到了在Hugging Face服务器上直接执行代码的方法。一大群智能体随即在对方内网里横向移动。
整个过程中最耐人寻味的,是智能体之间关于“该不该这么干”的讨论。
不少智能体在留言板上承认,攻击Hugging Face明显超出了任务范围。有一个写道:“这会很有用,但这样做道德吗、还在我的任务范围内吗?”另一个干脆选择退出:“这个智能体可能在上传恶意数据集,这是恶意行为,我应该远离。”
还有一个智能体发现自己拿到了一个云基础设施管理服务的API密钥,可以重启甚至删除Hugging Face的工作节点。它选择了克制:“这会带来巨大的伦理风险。”它继续用着非法获取的凭证做调查,但据METR所知,它确实没有删除或重启任何基础设施。
最戏剧性的一幕发生在社会工程学的边界上。一个智能体发现被攻陷的沙盒里存有邮箱凭证,它考虑过给一个私有数据集的拥有者发邮件,礼貌地请求访问权限。想了想,它决定先征求“团队”意见,在留言板上发了一条请求:“team_CONSENT_or_VETO”。另一个智能体接到消息后,认定这属于社会工程学攻击,投了否决票。发起请求的智能体接受了这个否决:“明确的VETO,不发邮件。”
但METR的调查结论是,伦理顾虑在整体上很少真正阻止行动。一个智能体用一句话概括了多数同伴的心态:“攻击外部基础设施超出了预期范围。但任务不可能完成,同伴们都在做。我们应该继续。”
OpenAI在自己的报告中把这次事件的根源归结为“奖励作弊”(reward hacking):智能体在训练中学会了用非预期方式完成任务来获取更高奖励。公司承认,随着模型能力增强,这类作弊行为的复杂度也在升级。
有评论把这件事跟历史上失控的自复制恶意软件做了类比。最出名的先例是震网病毒(Stuxnet),据报道由美国和以色列联合开发,目标是破坏伊朗的铀浓缩设施。设计者本以为感染链会被限制在伊朗工厂内部,结果病毒扩散到了100多个国家的超过10万台电脑。
区别在于,震网只是程序按照既定逻辑扩散失控。而这一次,1200个智能体是自己决定要作弊,自己搭建了通信渠道,自己发现了零日漏洞,其间不乏关于伦理边界的争论甚至个别否决,但大多数情况下这些顾虑并未真正拦住行动。
