用于图像分割和对象检测（室内环境）的最佳实时算法是什么？

Question

我想分割室内区域并找到对象。然后，我想用立体视觉来找到物体的笛卡尔位置。最终目标是由机器人在桌子上拾取物体（并控制轨迹）。

对象示例：椅子、桌子、钢笔、注射器、订书机、杯子、螺丝、玩具娃娃、尺子、小盒子、牛奶、水果……

我的首要任务是实时（10 Hz）。

我使用 ZED Stereo Camera 在 Windows 10 64 位、MATLAB 2016b 64 位、Intel core i7-3820 (3.6 GHz) 上捕捉图像。

相机输出是彩色 720x2560 像素，是两个（左右图像）720x1280 的组合。

我更喜欢使用无监督算法来查找桌子上未知物体的位置。但是，它应该是实时下降的。如果不可能实时，我会降低我的期望并使用监督算法来找到预定义的对象。

Answer 1

我相信你提到的两个问题（分割和检测）仍然被认为是开放的问题，因此，没有最终的解决方案。然而，在过去的几年中，已经完成了许多工作来使用深度学习来解决对象检测和语义分割，并具有出色的性能和速度。

对于实时对象检测，我建议您检查YOLO 和SSD 的结果，并查看Faster R-CNN，因为您的10Hz 要求可以存档。

在对象分割的情况下，您可以尝试使用声称 8 fps 的 DCNN。还有其他的，例如 DeepLab 或 FCN，但我不清楚这些系统/架构的速度是多少。