为卷积神经网络选择训练图像

Question

目标是从图像中定位对象。我决定修改和训练现有模型。但是，我无法决定是应该使用掩码还是仅使用 ROI 来训练模型。

例如：对于 1 类数据，只有 1 类对象会出现在图像上，每隔一个区域将用 0 填充，对于第 2 类我会做同样的事情，只留下 2 个掩码中的第 3 类和第 4 类的对象，依此类推。

第二种方法，使用 ROI：我将不使用蒙版从图像中裁剪每个类，只裁剪感兴趣的区域。

然后，我希望继续做类似的事情：https://github.com/jazzsaxmafia/Weakly_detector

我应该选择第一种还是第二种？任何诸如“你的计划行不通，试试这个”之类的 cmets 也会受到赞赏。

--编辑-- 说清楚，

原图：http://s31.postimg.org/btyn660bf/image.jpg

第一种使用蒙版的方法：

• 第一类：http://s31.postimg.org/4s0pjywpn/class11.png
• 第二类：http://s31.postimg.org/3zy1krsij/class21.png
• 第三类：http://s31.postimg.org/itcp5j09n/class31.png
• 第四类：http://s31.postimg.org/yowxv31gb/class41.png

第一种使用 ROI 的方法：

• 第一堂课：http://s31.postimg.org/4x4gtn40r/class1.png
• 第二类：http://s31.postimg.org/8s7uw7n6j/class2.png
• 第三类：http://s31.postimg.org/mxdny0w7v/class3.png
• 第四类：http://s31.postimg.org/qfpnuex3v/class4.png

P.S : 对于新示例，对象的位置将非常相似，因此使用掩码方法可能会更有用一些。对于 ROI 方法，我需要对每个大小非常不同的对象进行归一化。然而，对整个图像掩码进行归一化可能会使原始掩码之间的差异更小。

Answer 1

假设 CNN 接受过大量高质量数据的训练，它们通常能够很好地适应不同的背景。所以我猜想使用掩码和 ROI 方法之间的差异不会很大。无论如何，无论您使用哪种方法，您都需要标准化您提供给 CNN 的图像的大小。

我实现了一些手势识别软件，遇到了类似的问题。我可以只使用原始的、未处理的 ROI，或者我可以使用过滤掉大部分背景的预处理版本。我基本上都尝试了两种方法并比较了模型的准确性。就我而言，我能够从预处理图像中获得更好的结果。另一方面，我的图像中的背景更加复杂和多样。无论如何，我的建议是建立一个可靠的机制来测试您的模型的准确性并进行实验，看看什么效果最好。

老实说，最重要的是为每个班级收集 大量 好的样本。就我而言，我一直看到显着的改进，直到每节课达到大约 5000 张图像。由于收集大量数据需要很长时间，因此最好捕获并存储原始的全尺寸图像以及实际收集数据所涉及的任何元数据，以便您可以尝试不同的方法（掩蔽与 ROI 、不同的输入图像大小、其他预处理（例如直方图归一化等），而无需收集新数据。