Robust Semi-Supervised Monocular Depth Estimation with Reprojected Distances
Code
摘要
基于单个图像的密集深度估计是计算机视觉中的一个关键问题，在许多机器人任务中有着令人兴奋的应用。最初被视为一个直接回归问题，需要在训练时使用带注释的标签作为监督，在过去几年中，在基于强几何线索的自监督深度训练方面做了大量的工作，无论是从立体相机还是最近从单目视频序列。本文研究了如何将这两种方法（有监督和自监督）有效地结合起来，使深度模型在利用几何线索获得高保真局部精度的同时，从稀疏监督中学习编码真实尺度。为此，我们提出了一个新的有监督损失项，以补充广泛使用的光度损失，并说明如何利用它来训练鲁棒的半监督单目深度估计模型。此外，我们还评估了训练精确的尺度感知单目深度模型所需的实际监督程度，结果表明，使用我们提出的框架，只有4束（每张图像的有效深度值小于100）的非常稀疏的激光雷达信息就足以获得与当前最先进水平相竞争的结果。
贡献
本文的主要贡献是提出了一个新的监督损失项，它最小化了图像空间中的重投影距离，因此在与光度损失相同的条件下工作，这构成了基于外观的自监督单目深度学习方法的基础。我们证明这种新的损失不仅有助于将深度标签注入到自监督模型中，产生尺度感知的估计，而且还进一步提高了这些估计的质量，即使在标签非常稀疏的情况下也是如此。其结果是一种新的半监督训练方法，它结合了两者的优点，能够以原始视频序列的形式消耗大量未标记的数据，同时还可以在深度标签可用时适当地利用其中包含的信息。Robust Semi-Supervised Monocular Depth Estimation with Reprojected Distances2019年11月19日的能力恰当地利用稀疏信息也极大地促进了深度标签的生成，消除了对昂贵的64或128束激光雷达传感器的需求，有利于更便宜和容易获得的替代品作为监督来源。
方法
深度网络
本文用了Packnet网络做为encode过程，关于packnet可详见PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning
损失函数设置
图1 重投影误差的示意图
总的损失函数
其他和之前深度估计得损失一致
Reprojected Distance Loss
大多数有监督的深度训练方法都是在直接回归的基础上进行的，将输入的RGB图像映射到输出的深度值中，而不需要利用运动信息或相机的几何结构。然而，如果这些信息是可用的，就像在自我监督学习中一样，我们在这里表明，它可以用来产生更精确和一致的深度模型。这是通过使用新的监督损失项（等式6）来实现的，该监督损失项在与光度损失相同的条件下工作，通过将深度误差重新投影回由上下文照相机观察到的图像空间，如图2a所示。对于目标图像中的每个像素p，该重新投影的深度误差Lrep对应于它的真实p是并预测了源图像中的pˆis关联，由此计算光度损失Lphoto
实验结果
本文再KITTI基础上用了新的数据集
在我们的实验中，我们将这个新集合称为 Annotated，而原始集合称为原始集合。对于训练，我们使用[6]中描述的预处理方法来移除静态帧，从而从左摄像机和右摄像机生成39810个训练图像（注意，本工作中不使用立体信息）和652个评估图像。利用前t-1帧和后t+1帧生成用于单目深度和姿势学习的上下文信息。