使用*两者* RGB 和深度图像进行分割答案

【问题标题】：Segmentation using *both* RGB and Depth Images使用*两者* RGB 和深度图像进行分割
【发布时间】：2021-09-21 17:23:18
【问题描述】：

我这里有两个帧，一个是RGB图像，第二个是同一个RGB图像的深度图。图片在这里：

我想使用两张图片直接对前面的两种植物进行前景提取。如果不清楚的话，深度图能够捕捉到的是两株发白的植物。只有那两个。理想情况下，我的最终结果是黑色背景中两株花卉的彩色图像——从绿色尖端到底部。我在想也许掩蔽会有用？

我的问题是，我是否可以将 RGB 图像中的颜色数据与深度图中的“形状”数据结合起来？我之所以对将两者结合起来如此感兴趣，是因为它们都捕获了重要的信息：一个给我颜色，而另一个给我形状。

如果我只有 RGB 图像，那么由于后面所有颜色相似的植物，我将很难隔离前面的两种植物，并且我可能会丢失植物的最尖端，它是绿色的，但也植物的重要组成部分。

相反，如果我只有深度图，那么我就会失去植物的所有表面特征，尤其是颜色，这对于识别植物的健康状况很重要。

如果有人可以就我如何“结合”RGB 和深度以提取这两种植物提供任何帮助，请告诉我！

【问题讨论】：

【解决方案1】：

只需将深度图像沿通道轴连接到 RGB 图像。假设您使用基于 CNN 的模型进行分割，您对模型的输入将是 4 个通道，3 个来自 RGB 图像，1 个来自深度图像。神经网络将学习如何对深度信息进行编码。

【讨论】：