[paper]Universal adversarial perturbations

本文提出了计算自然图像中普遍扰动的算法，在神经网络上具有很好的泛化性，并且揭示了模型在高维空间中决策边界的几何联系。并且说明了在输入空间中存在单个方向的潜在安全漏洞，攻击者可能会利用这些漏洞造成模型对大多数自然图像分类错误。

universal 算法：

$\mu$μ是图像分布
$v$v是universal扰动
$\hat{k}$k^是模型

universal扰动$v$v需要满足两个条件：

$ξ$ξ表示控制扰动$v$v的幅度大小
$δ$δ表示对于所有自然图像（满足图像分布服从$\mu$μ）的期望扰动成功率

假如当前的$v$v不足够扰动$x_i$xi​，再寻找一个$\Delta v$Δv
其要解决的优化问题为：

为了满足$∣∣v∣∣_p≤ξ$∣∣v∣∣p​≤ξ约束，将$v+\Delta v_i$v+Δvi​投影到一个半径为$\xi$ξ的$\mathcal{l}_p$lp​ball上，投影公式如下：

满足下式时终止算法：

• 同一网络的不同初始化得到的扰动结果不唯一，虽然有点相似
• 不同网络得到的扰动结果也不一样

实验结果：

• universal 扰动在不同网络间具有较好的泛化性

• 为了量化分类器决策边界不同区域之间的相关性，计算N矩阵的奇异值（奇异值往往对应着矩阵中隐含的重要信息，且重要性和奇异值大小正相关）：
  
  
  由图可知，在曲线的开始阶段，奇异值的变化幅度特别大，到了后面，曲线变得平稳。说明对于深度神经网络而言，决策边界存在一定的相关性和冗余性。

• 存在一个低维子空间$\mathcal{S}$S包含自然图像周围区域中到决策边界的大部分法向量。