DynamicFusion: Reconstruction and Tracking of Non-rigid Scenes in Real-Time
由于包括Kinect Fusion在内的视觉SLAM和三维重建都面向静态环境,针对对进行非刚性运动的动态物体进行重建的问题,本文提出了Dynamic Fusion,该方法把每个时刻的场景变换回固定模型。如上图所示,随着时间的推移,模型和每个时刻的重建结果都会逐渐细化。

稠密非刚性变换

如果对TSDF的每一个体素都单独计算位姿变换,计算复杂度是不可接受的。本文使用稀疏的变换节点,通过差值来实现实时的独立位姿跟踪,每个节点具有坐标和尺度。每个点的位姿变换通过临近节点的加权平均值计算。

稠密非刚性面元融合

在得到了模型到当前帧的变换之后,根据权重进行融合,权重不仅考虑深度观测的不确定性,也考虑点到节点的距离。

非刚性变换估计

误差函数包括两项,第一项计算每个像素从模型投影到当前帧的model-to-frame误差,由于变换应该是分段光滑的,第二项使得临近的节点变换尽可能刚性。

算法细节优化

  • 误差函数中,每个点的位姿和周围的k个临近节点有关,严重破坏了H矩阵的稀疏性。本文在计算H矩阵是只计算对角线上的元素
  • 对节点分层计算H

阅读感想

论文中自己也提到,利用每一帧来更新并和模型对应的建模方法实际上对于运动是有要求的,但是方法用于刚性变换效果应该是很好的,如果想要在动态环境中对刚性变换的物体建模,这会是值得参考的方案。

相关文章: