在 opencv 中使用 4D 内核进行图像卷积

Question

给定一张图片，我正在尝试使用 (3 x 3 x 3 x 64) 内核进行卷积：

cv2.filter2D(img, -1, np.random.rand(3,3,3,64))

给予：

错误：/Users/travis/build/skvark/opencv-python/opencv/modules/imgproc/src/filterengine.hpp:363：错误：(-215) anchor.inside(Rect(0, 0, ksize.函数 normalizeAnchor 中的宽度，ksize.height))

实际上在文档中它说：

kernel – 卷积核（或者更确切地说是相关核），一个单通道浮点矩阵；如果您想将不同的内核应用于不同的通道，请使用 split() 将图像拆分为单独的颜色平面并单独处理。

还有其他可以卷积 > 2D 内核的 opencv 函数吗？还是我必须做两个应用 filter2d 的 for 循环？

Answer 1

OpenCV 函数 cv2.filter2D()，顾名思义，假设一个 2D img 和一个 2D 内核。除此之外，您还必须使用循环。例如，以下运行没有错误，

import cv2
import numpy as np

# read an rgb image
img = cv2.imread('fig1.png')

# filter the first channel (blue)
out0 = cv2.filter2D( img[:,:,0], -1, np.random.rand(3,3))

请参阅cv2.filter2D() 的文档

Answer 2

OpenCV 中没有这样的功能——在任何接口和核心 C++ 库本身中都没有。如果你想做 4D 卷积，你要么必须使用 cv2.filter2D 循环 4D 内核的 2D 子矩阵，自己手动编写，或者使用其他支持它的东西，比如深度学习包或 SciPy。

我可以建议的最简单的解决方案是使用 SciPy 的 scipy.signal.convolve 执行 N 维卷积：https://docs.scipy.org/doc/scipy/reference/generated/scipy.signal.convolve.html，而无需您自己编写或破解。请记住，图像和内核都需要具有相同的维数，因此您的图像也应该是 4D。