百度Apollo学习笔记（5）——感知

1.感知概貌

1.1感知技术模块

• 小感知：检测、（语言）分割、（属性）识别、跟踪、融合
• 大感知：标定、定位、障碍物行为预测

1.2感知多个维度

• Sensor维度（Input）：Lidar、Camera、Radar…
• Targer维度（Output）：障碍物、车道线和道路边界线、红绿灯…
• 问题空间维度：2D算法、3D算法…
• 机器视觉维度：模型计算、几何计算
• 机器学习维度：深度学习（数据驱动）、后处理（启发式）
• 系统维度：硬件、软件

2.传感器和标定

2.1传感器

2.2安装传感器

2.2.1感知角度

• 需要建模考虑覆盖范围
• 需要考虑障碍物遮挡情况
• 需要考虑传感器融合的便利

2.2.2整车角度

• 稳定、安全、风阻、美观
• 方便清洗维护

2.3传感器标定

• 内参
• 外参

2.3.1传感器标定算法

• Lidar内参标定
• Lidar-to-GPS外参标定
• Lidar-to-Lidar外参标定
• Lidar-to-Camera外参标定
• Camera-to-Camera外参标定
• 自然场景中Lidar-to-Camera外参标定
• 自然场景中Bifocal Cameras外参标定
• Camera-to-Radar外参标定

3.感知算法

3.1Lidar感知（检测）

• 启发式方法：Ncut
• DL方法：CNNSeg

3.2视觉感知

• DL检测和分割
• 跟踪，2d-to-3d，多相机融合
• 红绿灯（感知与地图交互）

3.3Radar感知

3.4超声波感知

4.感知中的机器学习

• 对准、召、延时要求极为严格
• 如何应对极端情况：训练和测试的独立同分布；训练是封闭集，测试是开发集。

5.感知的未来

• 传感器迭代非常快
• 深度学习+仿真数据+车载AI芯片
• 智能交通设施，V2X普及
• 人工智能技术进一步提升