（通讯员张肖瑜）计算机视觉国际大会（IEEE International Conference on Computer Vision，简称ICCV）将于2023年10月2日至6日在法国巴黎举行，该会议是国际公认的计算机视觉领域顶级会议，代表着计算机视觉领域最前沿的研究进展。国际多媒体会议（The 31th ACM International Conference on Multimedia，简称ACM MM）将于2023年10月28日至11月3日在加拿大渥太华举行，该会议是计算机图形学与多媒体领域顶级会议。ICCV和MM均被中国计算机学会列为A类会议。

近期，陈晓峰教授团队最新研究成果“Explaining Adversarial Robustness of Neural Networks from Clustering Effect Perspective”和“ACQ: Few-shot Backdoor Defense via Activation Clipping and Quantizing”分别被IEEE ICCV 2023和ACM MM 2023收录。两篇论文的第一作者均为陈晓峰教授和张肖瑜副教授共同指导的网信院2021级硕士研究生金育霖。

在深度学习鲁棒性研究领域中，对抗训练是防御对抗攻击的主要方法，该方法通过将对抗样本投入到训练集来提升神经网络模型的鲁棒性。然而，研究表明目前的对抗训练无法有效防御中间层对抗攻击。首先，通过研究神经网络对训练集数据分布在前向传递中中间层输出的表现，我们发现神经网络会对同标签训练样本的中间层特征进行聚集且聚集程度逐层递增，本文首次将之定义为聚类效应，并且从理论上证明了此聚类效应的出现归因于神经网络的训练是服从信息瓶颈理论的一个下界函数。通过该效应本文直观揭示了现有的对抗训练方法难以对中间层对抗样本进行采样，从而导致了训练中缺少中间层对抗样本的参与，揭示了对抗训练对中间层对抗攻击防御强度弱的成因。此外，基于此聚类效应，本文设计了一种对中间层对抗样本进行充分采样的对抗训练方法SAT。相对于目前的SOTA对抗训练方法，SAT能够有效防御中间层对抗攻击，且本文给出一个可证明的对抗鲁棒性下界。该工作被IEEE ICCV 2023录用。

在深度学习后门攻防研究领域中，后门攻击通常发生在训练过程非完全受控的场景下，投毒数据给预测模型的安全性造成严重威胁。本文从后门模型对干净样本和后门样本的中间层激活值的差异入手，揭示了多种后门触发器引起的异常神经网络中间层激活值的幅度与分布。本文进一步通过构造神经网络中间层激活值的裁剪器Clipper和量化器Quantizer分别来破坏和抑制后门触发器对中间层激活值的影响，以此抵御多种后门攻击。此外，现有的SOTA后门防御方法要求少量真实训练数据，难以应用在一些离线或者隐私数据场景中。本文设计了一种基于BN层参数的数据反演算法，并验证仅依靠反演数据即可有效支持ACQ，实现了零真实数据的后门防御。实验证明了ACQ在离线或隐私数据场景中具有高效性强、适用性强，不依赖真实训练数据等优点。该工作被ACM MM 2023录用。

人工智能安全是新兴优势交叉领域，这两篇工作的相继录用，代表着国际学术界同行对我院人工智能安全领域研究成果的高度认可。同时，这两项工作也是睿云数据安全团队在人工智能安全领域取得的重要成果，助力学院学科全面推进。