OpenCV - 如何在场景中裁剪卡车的后部？

Question

目前我正在处理大量看起来像这样的图像：

我想像这样裁剪卡车后部：

以下是我面临的一些挑战：

• 卡车可以是任何颜色
• 场景可以是白天也可以是夜晚
• 背景可以有很大的不同（树木、灌木丛、道路、天空、 等）

我有以下工作对我有利：

• 卡车总是会填满大部分图像
• 相机的分辨率和质量至少和这个一样好 示例图片
• 如果在晚上，卡车后部的照明会相对较好 泛光灯或类似物

到目前为止，我很难有很多工作要做。以下是我尝试过的一些事情：

• 高斯模糊/侵蚀/膨胀/打开/关闭（两者 在进入单个频道之前和之后，请参阅下一个要点）
• 转换为灰度
• 打破 B、G、R 通道
• 打破 H、S、V 通道
• 打破 L、A、B 通道
• 在我尝试过的上述 10 个频道中的每一个上：
• cv::threshold()
• cv::adaptiveThreshold()
• cv::Canny()
• cv::floodFill()
• cv::watershed()

这些都没有产生看起来很有希望的结果。

任何人都可以提供任何替代建议吗？不同的方向？也许我错过了另一个有用的预处理步骤？我不确定下一步该去哪里。

Answer 1

我过去曾尝试过类似的事情。

设置阈值和检测线条不适用于所有图像，因为它们会随着照明、背景等的变化而变化很大。

解决方案：

选择深度学习模型。 最初使用大约 1000 张图像训练您的模型。输入为图像，输出为裁剪区域的坐标。

因为作为输出，您将获得矩形的坐标。使用这些坐标裁剪区域。 详情请查看this。

Answer 2

第一个评论，你真的需要自动剪切吗？

如果您的大量图像少于 10000，那么您应该手动完成。 如果数量大于这个数字并且可以加班增加，那么您应该构建软件。

其次，根据您的条件，简单的阈值永远不会起作用。一个简单的阈值处理起来太复杂了。

在我看来，最简单的方法是先分割你的图像，然后切断面积最大的分割。 您还可以使用更复杂的方法，例如训练检测器来检测卡车。 （SSD是目前最好的物体检测器）

Answer 3

一个简单的方法是在执行 Canny 边缘检测后执行霍夫线检测(cv::HoughLines)，并选择使用检测到的接近水平和垂直线可以形成的最大矩形。

虽然基于阈值的方法可能适用于某些图像，但它们会忽略高级信息，例如容器背面的矩形形状。

This page 有一个可以作为起点的工作示例。

如果您需要更多详细信息，我会编辑问题。