有效地使用多个 Numpy 切片进行随机图像裁剪

Question

我有一个 4-D numpy 数组，第一个维度表示数据集中图像的数量，第二个和第三个是（相等的）宽度和高度，第四个是通道数 (3) .例如，假设我有 4 张 28*28 的彩色图像，所以我的图像数据如下所示：

X = np.reshape(np.arange(4*28*28*3), (4,28,28,3))

我想为 4 张图片中的每张选择一个 16*16 宽 x 高的随机裁剪。至关重要的是，我希望每个图像的裁剪都不同，即我想生成 4 个随机 (x_offset, y_offset) 对。最后我想访问一个形状数组 (4, 16, 16, 3)。

如果我在 for 循环中编写它，它看起来像这样：

x = np.random.randint(0,12,4)
y = np.random.randint(0,12,4)
for i in range(X.shape[0]):
    cropped_image = X[i, x[i]:x[i]+16, y[i]:y[i]+16, :]
    #Add cropped image to a list or something

但我想尽可能高效地做到这一点，我想知道是否有办法通过大步和花哨的索引来做到这一点。我已经看到了this 问题的答案，但我不能完全理解如何将 stride_tricks 之类的东西与第二和第三（宽度和高度）轴上的步幅的随机起点结合起来。

Answer 1

利用strided-based 方法进行有效的补丁提取

我们可以利用基于scikit-image's view_as_windows 的np.lib.stride_tricks.as_strided 来将仅views 的滑动窗口放入输入数组中，因此不会产生额外的内存开销并且几乎是免费的！我们当然可以直接使用np.lib.stride_tricks.as_strided，但是所需的设置工作很难管理，尤其是在更高维度的数组上。如果scikit-image不可用，我们可以直接使用独立工作的source code。

view_as_windows的用法说明

view_as_windows 的想法是，我们将输入参数 window_shape 作为长度与需要滑动窗口的输入数组中的维数相同的元组提供。我们需要沿其滑动的轴输入相应的窗口长度，其余轴输入1s。这将创建一个带有singleton dims/axes 的views 数组，即带有lengths=1 的轴对应于1s 参数中的1s。因此，对于这些情况，我们可能希望索引到与馈送1 的轴相对应的第零个元素作为滑动窗口长度，以获得滑动窗口的压缩版本。

因此，我们会有一个解决方案，就像这样 -

# Get sliding windows
from skimage.util.shape import view_as_windows
w = view_as_windows(X, (1,16,16,1))[...,0,:,:,0]

# Index and get our specific windows
out = w[np.arange(X.shape[0]),x,y]

# If you need those in the same format as in the posted loopy code
out = out.transpose(0,2,3,1)