感知概貌
-
感知技术不能产生0~1的质变，没有终极解决方案，不能进行代码逐行的code reading
-
目标
- 理解感知问题的复杂性
- 看清主要的技术路径
- 理解目前主流方法的思路
-
感知是一种机器人学科。机器会向人学习，扬长避短。
-
感知系统的机器输出依赖高精地图，不要求实时分析。输出障碍物信息（位置、类别、形状、跟踪）。输出传感器融合数据。v2x是长远目标。
感知技术模块
- 小感知：检测、（语义）分割、（属性）识别、跟踪、融合
- 大感知：标定、定位、障碍物行为预测
多维度看感知
- 传感器维度
- 输出维度：障碍物、车道线和路边界、红绿灯
- 问题空间维度：2D问题、3D问题、静态帧处理、时序处理
- 机器视觉维度：模型计算（高级）、几何计算（低级）
- 机器学习维度：深度学习（数据驱动），后处理（启发式）
- 系统维度：硬件和软件
传感器和标定
传感器
- 64线激光雷达TOF，主动式
- 难以做识别；发射存在功率限制，距离远的地方难以检测。
- 相机，被动式
- 光线影响大，精度不准；但是稠密感知，可以探测较远的地方
- 毫米波雷达，主动式
- 可以利用多普勒效应测量相对速度；噪点较多，非金属材质反射强度低
- 超声波雷达
- image-Lidar的4D数据指的是RGN颜色信息加上深度信息
标定
-
标定的核心问题
- 将不同传感器的数据再同一个坐标系里表示
- 内参：传感器自身性质
- 外参：传感器之间的相对位置和朝向（用3自由度的旋转矩阵和3自由度的平移向量表示）
- 两个要进行标定的传感器要再观测同一个物体的情况下进行标定相对位置，然后解决优化问题。可能要利用传递关系，通过C知道AB的相对位置。
- 将不同传感器的数据再同一个坐标系里表示
-
camera和camera基于标定间的标定
-
Lidar和相机基于标定间的标定
- Lidar-Rigel：ICP（Iterative Closest Point，迭代最近点）
- camera-Rigel：P2P
-
Lidar内参标定：Lidar与Rigel做匹配，如果激光雷达的内参不准确，会出现远距离地面点浮在空中的现象。
-
Lidar和GPS外参标定：将车辆在空旷地区绕八字行驶多次，记录多个时间点GPS给出的车辆位置信息(相对于GPS为原点的世界坐标系)，将Lidar捕捉的多帧点云投影到世界坐标系中，并进行拼接，求解优化获得外参。
-
自然场景的Lidar-to-camera外参标定：在标定的场景中寻找具有明显边缘的物体作为参照物将该参照物的点云边缘和Camera拍摄图像的边缘对齐作为参数标定效果的考量指标，如果对齐，这表示标定结果良好。
-
自然场景中的Bifocal Camera外参标定：类似于Camera-to-Camera外参标定，但是需要在自然场景中找到边缘锐利的物体作为参照物。
-
camera-to-radar：得到Radar相对于Camera的Pitch角的上下倾斜问题。通常情况下Radar是水平安装的，问题就转换为求得Camera相对于地面的Pitch角。由于Camera-to-Lidar已经标定好，可以通过Lidar采集到的平面信息解决倾角问题。