记得一起blu老哥给过一个相关的工具链，但这个更加系统简单。
Grad-CAM
Grad-CAM是指Gradient-weighted Class Activation Mapping，研究人员提出利用这种梯度权重**映射来对卷积神经网络的分类进行解释，在输入的图片中粗略地显示出模型预测出的类别对应的重要性区间。这种方式可以广泛试用于CNN模型家族的模型预测可视化过程。
上图中可以看到对于猫和狗不同的分类，显示出的置信区域也各部相同。同时还能显示视觉问答的过程：
深度学习可视化工具大盘点 | 慧都大数据
http://bigdata.evget.com/post/1489.html