如何在对象本地化中执行数据增强

Question

为分类任务执行数据增强很容易，因为大多数转换不会改变图像的真实标签。

但是在对象本地化的情况下：

1. 边界框的位置是相对于已采取的裁剪的。
2. 可能存在边界框仅部分位于裁剪窗口中的情况，我们是否在这种情况下执行某种裁剪。
3. 还会出现对象边界框不包含在裁剪中的情况，我们是否在训练时丢弃这些示例。

我无法理解如何在对象本地化中处理此类情况。大多数论文建议使用多尺度训练，但没有解决这些问题。

Answer 1

增强方法必须改变边界框的内容。在颜色增强的情况下，像素分布会改变，边界框的坐标不会改变。但在裁剪或缩放等几何增强的情况下，不仅会影响像素分布，还会影响边界框的坐标。这些更改应保存在注释文件中，以便算法可以读取它。

自定义脚本通常用于解决此问题。但是，在我的存储库中，我有一个可以帮助您的库。这是链接https://github.com/lozuwa/impy。使用这个库，您可以执行我之前描述的操作。