Segstereo (适合无监督学习和监督学习)
基础的视差估计网络能构很好的处理带有边界和角点等清晰的定位信息的图片,有无监督和监督的方法,但在平坦区域仍存在问题,使用语义信息来帮助预测和改善最终的视差图
方法: 通过semantic feature embedding结合语义信息改善视差估计(语义信息辅助预测),相对无监督方法,此模型应用warp重构光度图像和语义图像
Q:为什么用语义分割?
高级分类任务,图像中的每一个像素都分配一个类,
在视差估计中同时获取场景图像中的对象,以便可以利用稳定的结构信息
----------------------------------------------------------------------------------------------------------------------
基本网络结构:
----------------------------------------------------------------------------------------------------------------------
Semantic Loss Regularization
语义信息同样可以作为损失项来引导视差学习。在预测的视差图D的基础上,我们对右语义特征图做Warp操作得到重构的左语义特征图,使用左分割图的ground truth标签作为引导来训练一个像素级别的分类器。最终,语义信息引导损失Lseg由经过分类的Warp图像和ground-truth标签计算得到。
当训练视差网络时,语义损失通过语义卷积分类器和特征Warp层反向传播到视差分支。伴随光度损失或者回归损失,语义损失作为额外的目标感知约束来引导视差训练。实验证明语义损失正则化能够有效的解决局部视差模糊问题,尤其是在无监督网络中。
----------------------------------------------------------------------------------------------------------------------
目标函数
--------------------
- 无监督模式
立体图像对中的一幅图像能够借助视差图从另一幅图像中重构得到,应该与原始输入左图特别相近,以这一特征来实现视差图的无监督学习。
1.1 Loss 1
1.2 Loss 2 若没有对视差图在局部区域上平滑,局部视差可能不连续
1.3 Loss 3
2. 监督模式