人工智能和机器学习技术被广泛应用在人机交互、推荐系统、安全防护等各个领域,其受攻击时是否具备强抗打击能力备受业界关注,也是新时代网络空间安全需求的重要组成部分。在人工智能的安全研究中,黑客往往通过对数据源的细微修改,在用户感知不到的情况下,使模型做出了错误的判断,这种方法会导致AI系统被入侵、错误命令被执行,执行后的连锁反应也会造成严重的后果。
由百度主办的“百度飞桨巅峰赛:AI安全对抗赛”,是目前国内外备受瞩目的AI安全类比赛。2019年10月29日,百度飞桨巅峰赛:AI安全对抗赛正式启动。本次比赛面向国内外高校、科研机构及企业发出参赛邀请,最终吸引到470余支队伍参赛,参赛队伍包括北京大学、中国科学技术大学、上海交通大学、复旦大学、北京邮电大学、西安电子科技大学等国内高校团队,以及众多互联网企业精英团队。
学院代表队以教育部网络空间安全工程研究中心为依托,由周维教授指导,共派出四支参赛队伍,参赛团队核心成员包括我院研究生吴立人、张锦涛、刘政浩和刘仁阳、彭文钰等十二名学生。参赛团队在比赛的过程中,研究提出了PS-MIFGSM、GF-Attack、MFS-MI-FGSM等攻击算法,这些攻击算法可用于对图像识别模型的攻击,能够实现非常高的攻击成功率,并且有效降低对抗样本与原始样本的差异。四支参赛团队经过初选、初赛、复审等激烈竞争,于470余支初赛队伍里脱颖而出,最终进入决赛。
决赛阶段,比赛难度提升,参赛团队需要攻击的对抗模型不仅在数量上增多,而且加入了黑盒模型,使其防守能力更为强大。经过20天的残酷比拼,决赛于2020年1月17号结束。最终四个队伍中有两个队以决赛第七名第十名的成绩获得大赛的三等奖,并获得百度校招绿色通道。周维教授获得最佳指导教师。