如何去除移动的物体只获得背景？

Question

我几乎是 python 新手，对它了解不多。我需要帮助将此伪代码转换为 Python，Python 是通过删除图像中的移动对象来获取背景的。关于伪代码，我不理解第 3、4 和 5 行，所以也许一旦将其转换为 Python，我可以更好地理解它。在第 3 行和第 4 行，我不明白 & 的作用，在最后一行，我什至不明白它是如何计算图像的。

任何帮助将不胜感激。

代码如下：

Mat sequence[3];// the sequence of images to loop through
Mat output, x = 0, y = 0; // looping through the sequence         
    matchTemplate(sequence[i], sequence[i+1], output, CV_TM_CCOEFF_NORMED)
    mask = 1 & (output>0.9) // get correlated part amongst the images
    x += sequence[i] & mask + sequence[i+1] & mask; // accumulate background infer
    y += 2*mask; // keep count 
end of loop;
Mat bg = x.mul(1.0/y); // average background

下面还提供了可供尝试的示例图像：

image1

image2

image3

Answer 1

我对OpenCV不是很熟悉，所以如果我没有提供代码sn-p你可以复制和粘贴，希望你能原谅我。但如果我正确理解伪代码，它就是这样做的：

sequence = list of images
x will hold sum of backgrounds
y will hold the number of frames use to build x

for each index i in sequence:
    c = matrix of correlation coefficients between (sequence[i], sequence[i+1]) from matchTemplate
    mask = pixels that are highly correlated (90%+)
    x += actual pixels from sequence[i] & mask and sequence[i+1] & mask that are considered background
    y += 2 for every pixel in mask

bg = average of background images x / number of frames y

因此，对于每对图像，它会标记两个图像中相同的像素。假设是相邻帧之间的背景不会发生变化，而前景会发生变化。像素是否“相同”是根据相关性>90%来判断的。然后它取所有标记的像素，并对它们进行平均。

Answer 2

正如其中一位评论者所提到的，图像的均值确实去除了前景，但整个图像变得有点褪色。这是执行此操作的代码：

import skimage.io as io
import numpy as np
import matplotlib.pyplot as plt

cim1 = io.imread('https://i.stack.imgur.com/P44wT.jpg')
cim2 = io.imread('https://i.stack.imgur.com/wU4Yt.jpg')
cim3 = io.imread('https://i.stack.imgur.com/yUbB6.jpg')

x,y,z = cim1.shape
newimage = np.copy(cim1)
for row in range(x-1):
    for col in range(y-1):
        r = np.mean([cim1[row][col][0],cim2[row][col][0],cim3[row][col][0]]).astype(int)
        g = np.mean([cim1[row][col][1],cim2[row][col][1],cim3[row][col][1]]).astype(int)
        b = np.mean([cim1[row][col][2],cim2[row][col][2],cim3[row][col][2]]).astype(int)
        newimage[row][col] = [r,g,b]

fix, ax = plt.subplots(figsize=(10,10))
ax.axis('off')
ax.imshow(newimage)

我从中得到的输出图像：

解决这个问题的更好方法是找到三幅图像的中值。您在算法中拥有的图像越多，背景就越好。这是我试过的一个 sn-p （只是用中位数代替平均值）。如果您有更多图像，您可以获得更准确的图像。

x,y,z = cim1.shape
newimage = np.copy(cim1)
for row in range(x-1):
    for col in range(y-1):
        r = np.median([cim1[row][col][0],cim2[row][col][0],cim3[row][col][0]]).astype(int)
        g = np.median([cim1[row][col][1],cim2[row][col][1],cim3[row][col][1]]).astype(int)
        b = np.median([cim1[row][col][2],cim2[row][col][2],cim3[row][col][2]]).astype(int)
        newimage[row][col] = [r,g,b]


fix, ax = plt.subplots(figsize=(10,10))   
ax.axis('off')
ax.imshow(newimage)

最终输出：

如果您有更多图像，则可以完全移除前景。希望您有可以借鉴的想法。

我的代码假设您的所有图像都具有相同的尺寸。如果您在不同的视图中捕获图像，解决方案会稍微复杂一些。在这种情况下，您可能必须使用模板匹配算法（您的伪代码似乎在做类似的事情）从图像中提取公共画布。