为什么要解释？
因为我们喜欢给不同的决策找一个理由啊，不然我们就很难接受这个决策。
local explanation:为什么你认为这是一只猫？
global explanation:你心里的一只猫是什么样子的？
决策树是一个好解释的模型，比如说你认为这是一只鸟，是因为它满足前两个条件。
如果你把一个灰色的小方块，随机遮住这个图片的一些部分，当遮住以后这个图片无法识别了以后，说明这个部分是这个图片之所以会被认为是这个类别的原因。
注意：图片的大小、颜色是参数，自己调整。
对pix扰动，如果该pix的扰动对输出的影响大，说明该pix越重要。
可以转换为求梯度的问题，可以根据这个画出saliney map .
(具体原理看论文)
判断哪些pix重要的reference：
画saliney map 有一个局限就是gradient,因为梯度饱和，在这个时候，求微分为0.但是实际上它很重要。
explanation的技术有可能被恶意攻击。上下两张图，下面的图可以通过加噪，使得模型认为这个图片是卡车是由于后面那朵云导致的。
老师搭了一个模型识别神奇宝贝和数码宝贝，发现识别准确率可以到98%，可视化以后发现：
发现机器在意的是边缘，而不是宝可梦的本体。
后来发现：
是因为两种图的格式不一样，导致的背景不一样。所以机器其实什么都没有学到。
老师这个例子是想说明可解释学习的目的，能够帮助我们分析，这个神经网络是不是学到了什么。
这个图是老师做过的一个实验。
老师调了不同的输入，可视化了使该对应的输出类别最大化的输入图片，发现全是噪声。没有观察出什么规律。这个时候，就可以加一些限制条件。
如老师在这里加了一个R（x）,因为在一张黑色的图片中写数字，黑色是多数，白色是少数。因此，加完该限制条件以后，可以看到有一些图片是数字形状。
这个实验还告诉我们，如果我们也遇到类似的问题，可以根据图片的特征去add一些其它的信息。比如说，这些图都是通过不断地去调一些参数得到的。
还有一种方法：就是我们可以解释的模型去解释不能解释的模型，什么意思呢，就是说如果有一些输入，通过黑盒子会产生一些输出。
那么我们用一个可解释的模型，比如说线性模型，让它在相同的输入下，产生类似的输出。那么在这个线性函数中，如果w为正，就说明这个pix或者pix块，对该模型的输出是有正向作用的。
如在神经网络的输入输出曲线的下降的这一段，首先采样，然后用线性模型进行模拟，就可以得到模型的参数。举个例子：
把图片分成不同的部分，作为输入
这是老师对自己的穿的什么衣服进行的可视化。
具体思路看论文~~后期看完了也许会更新
http://arxiv.org/abs/1612.0005