论文阅读:Weakly Supervised Deep Learning for Segmentation of Remote Sensing Imagery
Wang, S.; Chen, W.; Xie, S.M.; Azzari, G.; Lobell, D.B. Weakly supervised deep learning for segmentation of remote sensing imagery. Remote Sensing 2020, 12, 207.
文章定义了弱监督源:(1)单个地理标记点组成的label (2)图像级标签,证明了在每个图像的单个标记像素上训练的U-Net,以及转移到分割的U-Net图像分类器可以胜过像素级算法,例如逻辑回归,支持向量机和随机森林。
也就是说效果比一般的机器学习算法好,但是并未提及和强监督学习的对比,文章提到“While the high performance of neural networks is well-established for large datasets, our experiments indicate that U-Nets trained on weak labels outperform baseline methods with as few as 100 labels. ”意思就是说这个效果比标签少的强监督要好?
文章这样生成了两种不同的弱标签:
按照我的理解©就是把某张图中的某个点属于的类别做了标记,(d)就是把这个图中的高级信息做标记,从图片上来看应该是把占比大的一类作为了标记
在文章的Related Work部分,提及到目前将CNN和RNN用于遥感图像的研究有很多,并且在土地覆盖分类、云遮挡、建筑物分割、船舶分割和道路分割上有了很大的优势,但都是基于很完美的标签数据的情况下以强监督的方式学习得到的模型结果。对于大型数据集,提到了DeepGlobe 2018和BigEarthNet这俩。
文章使用的数据
LandSat8的遥感图像,拿来当评估对比的的是基于美国农业部USDA在全美范围内的逐像素高质量标签,就很顶
将大范围的图像分成了20w张50x50大小的图像块作为输入数据
构造像素和图像级Label
像素级:直接利用美国农业部CDL数据,分辨率30m,与LandSat8相对应。将CDL的132个类别中只要是农作物的都归为一类来简化操作。然后把非农作物和农作物标签简化为0,1,还说什么这个双标签可能比CDL更准确,简直就是在说屁。
图像级:说对了,就是看50x50区域里面谁多就选谁当标签,就这就这?
训练的时候做了10折交叉验证,没什么好说的
方法部分
数据增强:还是旋转,但是事实上旋转起的正面作用真的比负面作用大吗?
**怎么个U-CAM方法?**我佛啦,就是把U-Net最后输出的这个map得到CAM,然后用CAM阈值化得到预测结果
然后针对两个不同的标签方式定义两种不同的LOSS
基于像素的是
基于图像标签的是
也就是说提出了两种弱监督方法,一个是Masked U-Net 一个是U-Net Cam,训练结果如图
分别的性能得分为
论文优点
- 实验完备,对于所有对比的模型和算法均有附录表格来说明他们通过实验找到了在n不同的时候对应的每一个对比模型的最佳参数设置,这样结果更可信
- 清晰
思路拓展
- 加上时间这一因素,来做弱监督。比如对某个地区的连续监测n张图构成关联,提取标签
- 从众包数据角度入手,体现弱监督的优势
值得一看
[21]Zhou, B.; Lapedriza, A.; Xiao, J.; Torralba, A.; Oliva, A. Learning Deep Features for Scene Recognition using Places Database. In Advances in Neural Information Processing Systems 27; Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N.D., Weinberger, K.Q., Eds.; Curran Associates, Inc.: Dutchess County, NY, USA, 2014; pp. 487–495.
[39]Kaiser, P.; Wegner, J.D.; Lucchi, A.; Jaggi, M.; Hofmann, T.; Schindler, K. Learning Aerial Image Segmentation From Online Maps. IEEE Trans. Geosci. Remote Sens. 2017, 55, 6054–6068.
[40]Kemker, R.; Salvaggio, C.; Kanan, C. Algorithms for semantic segmentation of multispectral remote sensing imagery using deep learning. ISPRS J. Photogramm. Remote Sens. 2018, 145, 60–77.
[56]Glorot, X.; Bengio, Y. Understanding the difficulty of training deep feedforward neural networks. In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, Sardinia, Italy, 13–15 May 2010; pp. 249–256.