梯度信息推测出数据集信息(三种预设)

梯度隐私泄露

  1. 若获得梯度信息,根据权重梯度与偏置梯度的比值可以恢复出数据输入。
    梯度隐私泄露
    梯度隐私泄露
    梯度隐私泄露
  2. 若第一层梯度信息加密,可以根据第二层梯度信息恢复出隐藏层输出 O u t h i Out_{h_i} Outhi(第二层的输入),再利用第一层连接原理解方程组可以恢复出数据输入。
    梯度隐私泄露
    梯度隐私泄露
    梯度隐私泄露
  3. 上述两种情况假设偏置为定值(例如常数1),若神经网络模型偏置项数值由随机数生成;一般采用试错法,采用可能的偏置,比较推测梯度与真实梯度的差距,从而获得近似偏置值,偏置比较接近时可能导致隐私泄露,偏置一般表现为图像亮度变化。
    梯度隐私泄露
  • 应对方法:联邦学习中,传输梯度信息修改为传输权重信息,不再限制用户端的权重更新方式;采用同态加密处理权重信息,协作服务器执行加法权重聚合(同态加法性质)。

参考文献

  1. 2020_自动化学报_支持数据隐私保护的联邦深度神经网络模型研究

相关文章: