LR Hybrid Bird's-Eye Edge Based Semantic Visual SLAM for AVP

Abstract

语义SLAM框架来利用hybrid edge信息在拼接图上.

为了从拼接图上提取edge 和 free-space 轮廓, 设计了不同的分割方法来移除充满噪声的 glare edge 强光边缘 和 扭曲的物体边缘(有IPM造成的).

因为只有 freespace 分割需要训练, 我们的方法减少了 labeling burden 标注负担.

同时构建了 语义边缘点云图 和 occupancy grid map.

1. Introduction

组合了一个 无监督边缘监测器 和 一组 IPM的边缘分割方法. 我们的方法只需要粗糙的 freespace标注.

2. Related Work

A. Visual SLAM for Multi-Camera Systems

...

B. Semantic Visual SLAM in AD

我们设计了一个混合边缘提取方法, 只需要粗糙的freespace标注, 10X快.

C. AVP Applications

..

3. Framework

• Bird's-eye edge extraction: 拼接图和生成的freespace图都是输入; 然后检测 raw hybrid edges, I"M分割来移除绝大多数的边缘噪声
• Mapping: 生成全局边缘点云图, 和 occupancy grid map
• Odometry: 局部地图中的当前pose是用语义点云注册做的, 给定轮速推的当前变换为初值

4. Bird's-eye Edge Extraction

拼接图有很多 road markings, 都是好的信息, 但是图像被强光污染了; \

有两个子模块, 1. raw edges 检测; 2. 移除噪声和扭曲的结果

A. Raw Edge Detection

这可以用传统的边缘检测(比如Canny edge); 在freespace分割的帮助下, 移除非地面的边缘;

B. IPM-based Edge Segmentation

清楚边缘的一个基本四路是 利用IPM里面 distortion effect 的特性; 大多数的边缘都是稳定 radial 的, 大约是经过每个相机的focal point的.

Ray-based segmentation

...

Line-based segmentation

...

Polyline-based segmentation

...

5. Semantic Odometry and Mapping

A. Local Map Generation

分割模块不能完全移除有噪声的边缘. 同时, 一些road markings或者停车点的边缘可能被错误的移除, 如果他们正好定位在射线方向上. 所以当前的提取edge有可能不完整不稳定.

我们构建了local edge map, 如上图, 不同帧的融合结果是概率.

B. Pose Estimation

首先把当前帧观测投影到 local map (通过T), 数据关联通过最近邻搜索, 当前位姿:

\[\begin{aligned} \min _{\mathbf{T}_{\text {venicle }}^{\text {local }}} \underbrace{\sum_{i}\left\|\mathbf{p}_{i}^{\text {local }}-\mathbf{T}_{\text {vehicle }}^{\text {local }} \mathbf{p}_{i}^{\text {vehicle }}\right\|_{2}}_{\text {bird's-eye edge point distances }}+\\ & w \underbrace{\sum_{j}\left\|\mathbf{p}_{j}^{\text {local }}-\mathbf{T}_{\text {vehicle }}^{\text {local }} \mathbf{p}_{j}^{\text {vehicle }}\right\|_{2}}_{\text {free-space edge point distances }} \end{aligned} \]

C. Global Mapping

..

6. Experiments

..

7. Conclusions

没啥.