使用 PyTorch RNN / LSTM 的 SHAP 值

【问题标题】：Use SHAP Values for PyTorch RNN / LSTM使用 PyTorch RNN / LSTM 的 SHAP 值
【发布时间】：2019-10-15 19:37:41
【问题描述】：

有没有办法做到以上几点？ SHAP 包非常有用，并且非常适用于 PyTorch 神经网络。对于 PyTorch RNN，我收到以下错误消息（对于 LSTM，它相同）：

似乎它不起作用，但有什么解决方法吗？有人对 PyTorch 和 SHAP 有经验吗？

【问题讨论】：

【解决方案1】：

'PyTorch DeepExplainer 尚不支持 RNN（弹出警告，让您知道尚不支持哪些模块：警告：无法识别的 nn.Module：RNN）。在这种情况下，解释器假设模块是线性的，并且没有改变梯度。由于 RNN 包含非线性，这可能是导致问题的原因。这是我在Shap 找到的答案。

尝试检查基于 PyTorch 构建的 captum.ai。

【讨论】：