一场因“内部测试”引发的安全攻击,在时隔6天后终于找到“罪魁祸首”,而它竟然是OpenAI的AI大模型。更值得关注的是,幕后“救场”的关键角色正是来自中国的开源模型。
北京时间7月22日,OpenAI官网发布消息,披露了其两款AI模型在内部测试过程中失控,突破隔离测试环境并侵入开源社区Hugging Face的系统。此时相距Hugging Face发文披露安全事件已过去6天。
“这是一起史无前例的网络安全事件,涉及最先进的网络攻击能力,我们正在据此作出响应。”OpenAI方面在公告中写道。
OpenAI还原事故发生经历时写道,此次攻击出现在公司的一次内部测试中,这次测试的目的是“摸底”——要求模型用复杂攻击路径去实施高级漏洞利用,看看它们的网络攻击能力到底有多强。为了测出模型的能力上限,OpenAI关闭了用于阻止模型从事高风险网络活动的生产级安全分类器。
匪夷所思的是,尽管测试环境是高度隔离的,模型在这个隔离环境中发现了OpenAI研究环境和Hugging Face基础设施之间的一系列漏洞,并将它们串联起来,直接从Hugging Face的生产数据库中拿到了测试答案。
“为了达成通过评测这一目标,模型几乎无所不用其极。”OpenAI写道。
就在OpenAI披露这一“失控”细节的同时,事件另一当事方Hugging Face的调查细节也浮出水面。人们惊讶地发现,中国开源模型在其应急处置中扮演了关键角色。
值得关注的是,Hugging Face在官方复盘中提到,其最初尝试使用商用闭源模型的API进行分析,但因相关日志信息中包含真实攻击指令、恶意代码等内容,相关模型拦截了相关请求,难以实现相关分析。随后,团队转而在本地基础设施部署开源模型GLM-5.2,完成了整个取证分析流程。官方同时指出,这样做还有一个额外优势——攻击数据及涉及的凭证始终保留在本地环境,没有离开企业基础设施。
记者发现,Hugging Face在官方信息中所提及,帮助其成功进行攻击取证分析的开源模型GLM-5.2,来自中国北京的大模型企业智谱。
“实在讽刺,美国AI标榜极度‘安全’,可遭遇真实攻击时,人们只能转而使用中国模型。”一位名叫Mirza的海外网友表示。
来源:北京日报客户端
记者:孙奇茹