使用 ZED 相机进行通用对象检测的最可靠/最简单的机器学习算法/技术是什么？

Question

我正在使用 ZED 相机（既不是 ZED 2 也不是 Mini）做一个学校项目，直到一周前，我的印象是内置的 API 足以满足我的需要。长话短说，我正在使用相机的距离感应模式——它返回一个 760x1280 的点云，每个点与相机在相机收集的图像中的那个点的距离——来确定一个移动的机器人是否正朝着一个物体前进，如果是这样，转向什么方向。我不一定要确定对象是 什么，而只是 如果 有任何对象。我对机器学习领域非常陌生，虽然我知道这个问题可能非常简单，但我根本没有足够的背景或足够的时间来完全深入研究这个问题，所以我我要求朝正确的方向轻推。
回顾一下，我需要确定机器人是否正在接近任何大小的物体，如果是这样，除了哪个方向最适合在它周围导航之外，该物体还有多远。该相机具有适用于 TensorFlow、PyTorch 和其他一些机器学习框架的 API。经过一些研究，似乎 TensorFlow 是最受支持的/实时的，因此如果使用 TensorFlow/Keras 是一种选择，那将是首选，但我们不胜感激。

Answer 1

虽然当您询问最最可靠和最简单的 ML 算法时问题有点模糊，但 ZED 相机已经实现了几个选项。 Zed yolo 和 Zed tensorflow repos 对你来说应该是一个不错的选择。它们易于设置和启动。

他们实现了您正在寻找的以下目标：

• 检测摄像头前的物体。
• 报告它与相机的距离。

两个存储库都使用在 COCO dataset 上训练的演示权重。如果您的对象与 COCO 数据集中的对象不匹配，您应该考虑为您的自定义对象训练自己的网络。您可以查看darknet repo，了解如何为 Yolo 执行此操作。

Answer 2

如果您可以创建自己的数据集，也许最有用的是。这将是一个简单的分类问题。用相机（有物体：1 类）和（无物体：0 类）拍摄许多记录。

然后，使用简单的 3D CNN 模型来训练分类器。您可以使用 tensorflow.keras 快速构建模型原型。

这是一个非常简单的 3D CNN 在 Keras 中的样子。

model = Sequential()
model.add(Conv3D(32, kernel_size=(3, 3, 3), activation='relu', kernel_initializer='he_uniform', input_shape=sample_shape))
model.add(MaxPooling3D(pool_size=(2, 2, 2)))
model.add(Conv3D(64, kernel_size=(3, 3, 3), activation='relu', kernel_initializer='he_uniform'))
model.add(MaxPooling3D(pool_size=(2, 2, 2)))
model.add(Flatten())
model.add(Dense(256, activation='relu', kernel_initializer='he_uniform'))
model.add(Dense(2, activation='softmax')) # 2 as you have 2 classes