【发布时间】：2019-10-30 22:35:04
【问题描述】：
我从激光雷达（2D 图像）获得深度和反射率图，我也有相机图像（2D 图像）。图像大小相同。
我想使用 CNN 来使用这两个图像执行对象检测。这是一种“融合CNN”
我应该怎么做？我是否应该使用预训练模型？但是没有使用激光雷达图像的预训练模型..
哪个是最好的 CNN 算法？即用于执行对象检测的模态融合
提前谢谢你
【问题讨论】：
标签： camera object-detection fusion lidar
【发布时间】：2019-10-30 22:35:04
【问题描述】：
我是否应该使用预训练模型？
是的，您应该这样做，除非您非常有信心自己可以直接找到工作模型。
但是没有使用激光雷达图像的预训练模型
首先我很确定有基于激光雷达的网络。例如
L Caltagirone , LIDAR-Camera Fusion 用于道路检测 卷积... arxiv, 2018
其次，即使没有直接基于 LIDAR 的开源实现，您也可以随时将 LIDAR 转换为深度图像。对于基于深度图像的 CNN，有数百种用于分割和检测的实现。
我应该怎么做？
首先，您可以将它们并排平行放置，用于 RGB 和深度/LIDAR 3d 点云。分别喂它们
其次，您还可以通过将输入合并到 4D 张量并将初始权重转移到单个模型来组合它们。最后在给定的数据集中执行迁移学习。
最好的 CNN 算法？
完全取决于您的任务和硬件。您需要最好的处理速度还是最好的精度？请定义你的“最佳”。
您还将它用于自动驾驶汽车还是内部护士护理系统？不同的CNN系统为不同的目的定制权重。
一般来说，对于使用廉价 PC（例如 DJI 流形）进行实时多目标检测，我建议使用 Yolo-tiny
【讨论】：