1.Using a model to explain another
学习好的去给学习不好的讲题。
一些模型容易解释,用容易解释的模型来模拟黑盒模型的行为,什么行为?黑盒的输入输出,但是线性模型能力不够,无法模拟高非线性的黑盒网络,很多数据没有办法处理,不过可以模拟局部特性哦,从而解释黑盒模型。
那一般谁学习好呢?线性模型啊
2.介绍一个LIME的技术
2.1 什么呢?
是一个 很直观,相当于局部线性化,选择这个附近的大小,会影响最终解释的结果,有很多参数要调。
2.2LIME的实施步骤:
- 首先选择一张图片,作为要解释的数据点
- 然后定义一种nearby并在图片的nearby采样。比如可以把图像进行segmentation,然后随机丢掉一些segment,就认为是这个图片周围的一些点咯。把这些周围的点(随机丢掉了segment的图像)输入我们要分析的黑盒子,得到了输出的结果。
- 用上面得到的输入输出来训练一个线性模型。直接用线性模型的话,输入参数量太多,还是要做一些设计。比如把图像先extract成一些低维度的向量,再输入线性模型。
extract的方法,原来图像的pixel维度很高,extract之后变成了M维的向量,长度M就取决于图像划分成的segment的数量。取值是0或者1,如果这个图像的第m个segment被删除了就取0,否则就是1。M是要被调整的参数。
对学到的线性模型进行解释,根据线性模型的权重