Unsupervised Scale-consistent Depth and Ego-motion Learning from Monocular Video
摘要
最近的工作表明，基于CNN网络的深度和自我运动估计可以使用未标记的单目视频学习。然而，它的性能是建立在几何图像重建有限的移动物体了静态场景假设。更重要的是，由于缺乏适当的约束，网络输出规模不一致的结果在不同的样本，即，自我运动网络不能提供完整的相机轨迹在长视频序列，因为每帧尺度模糊。本文提出了这些挑战，提出了几何一致性损失的尺度一致的预测和诱导自我发现的面具来处理移动物体和遮挡。由于我们不利用多任务学习，如最近的论文，我们的框架更简单，更有效。综合评价结果表明，我们的深度估计器在KITTI数据集上达到了最先进的性能。此外，我们表明，我们的自我运动网络能够预测全球范围内一致的摄像机轨迹长视频序列，所得到的视觉测径精度与最近的模型训练，使用立体视频。据我们所知，这是第一次表明，使用未标记的单目视频训练的深网络可以在长视频序列上预测全局范围内一致的摄像机轨迹。
贡献
我们提出了一个几何一致性约束，以加强规模的一致性的深度和自我运动网络，获得全局范围内一致的自我运动估计。
•通过上述几何一致性约束，我们提出了一个动态场景和遮挡的自发现mask。与其他方法相比，我们提出的方法不需要额外的光流或语义分割网络，这使得学习框架更简单和更有效。
所提出的深度估计器在KITTI和MaM3D数据集上达到了最先进的性能，并且与使用立体视频训练的最先进的模型相比，所提出的自我运动预测器显示了竞争的视觉测径结果。
方法
本文主要就原来单目深度估计得基础上加入了尺度约束，几何约束，尺度约束
在位姿估计中通过投影光流，去除在动态环境中运动物体，提高project loss
三种损失函数
运动边界和遮挡处理
在下一帧中去除运动出边界的图像，在这当中去除遮挡的点