哪个 SSIM 是正确的：skimage.metrics.structural_similarity()？答案

【问题标题】：Which SSIM is correct : skimage.metrics.structural_similarity()?哪个 SSIM 是正确的：skimage.metrics.structural_similarity()？
【发布时间】：2020-02-24 12:14:30
【问题描述】：

Stackoverflow 社区，

我正在尝试在 Python 上计算两个 bmp 图像之间的 SSIM（结构相似性）。我发现在skimage python 库中实现的structural_similarity() 函数以及来自原始MatLab 实现的等效代码hosted here。含义如下：

def structuralSimilarityIndex(ref_image, impaired_image, cs_map=False):

    window = Metric.fSpecialGauss(constant.SSIM_FILTER_SIZE,
                                  constant.SSIM_FILTER_SIGMA)
    C1 = (constant.SSIM_Constant_1 * constant.PIXEL_MAX) ** 2
    C2 = (constant.SSIM_Constant_2 * constant.PIXEL_MAX) ** 2

    mu1 = signal.fftconvolve(window, ref_image, mode='valid')
    mu2 = signal.fftconvolve(window, impaired_image, mode='valid')

    mu1_sq = mu1 * mu1
    mu2_sq = mu2 * mu2
    mu1_mu2 = mu1 * mu2

    sigma1_sq = signal.fftconvolve(
        window, ref_image*ref_image, mode='valid') - mu1_sq
    sigma2_sq = signal.fftconvolve(
        window, impaired_image*impaired_image, mode='valid') - mu2_sq
    sigma12 = signal.fftconvolve(
        window, ref_image*impaired_image, mode='valid') - mu1_mu2

    if cs_map:
        return (((2 * mu1_mu2 + C1) * (2 * sigma12 + C2)) / ((mu1_sq + mu2_sq + C1) * (sigma1_sq + sigma2_sq + C2)), (2.0 * sigma12 + C2) / (sigma1_sq + sigma2_sq + C2))
    else:
        return np.mean(((2 * mu1_mu2 + C1) * (2 * sigma12 + C2)) / ((mu1_sq + mu2_sq + C1) * (sigma1_sq + sigma2_sq + C2)))

我正在使用这段代码读取图像：

ref_image = np.asfarray(Image.open('ref_image.bmp').convert('L'))
impaired_image = np.asfarray(Image.open('impaired_image.bmp').covert('L)

ref_image和impaired_image的输入图像shape和dtype分别是：

(512, 512) 浮点数64

(512, 512) 浮点数64

我已经使用相同的条件和相同的输入图像进行了测试，如下所示：

# Using the above code
structuralSimilarityIndex(ref_image, impaired_image, cs_map=False)

# Using the function imported from skimage.metrics
structural_similarity(ref_image, impaired_image, gaussian_weights=False, use_sample_covariance=False)

结果大相径庭，结果如下：

Skimage python 库中的 SSIM：

SSIM : 0.38135154028457885

上面代码中的 SSIM：

SSIM : 0.8208087737160036

编辑：

我已经添加了读取和调用代码

以上 Python 代码来自signal processing library，据作者介绍，该函数试图精确模仿 SSIM 作者提供的 MATLAB ssim.m 的功能

更新：

我已经在相同的图像上测试了在 MatLab 中编写的原始代码，结果如下：

SSIM：0.8424

这与上面给出的 Python 实现的结果相差不远。

【问题讨论】：

您已经找到了介绍 SSIM 的论文作者的实现，您想知道它是否正确？当然，这必须是参考。为什么不直接向 skimage 项目发布错误报告？
您检查过使用的常量是否相同？
Python实现由作者自己提供。
我确实检查了常量，它们使用的相同。
@CrisLuengo 在 skimage 实现中有很多我无法理解的东西，因为变量和命令真的很混乱。

标签： python image image-processing scikit-image ssim

【解决方案1】：

我在 scikit-image Github 存储库上打开了一个问题，并得到了答案。答案在这里，我没有改变答案，你可以找到它here：

我认为这里的主要问题是您从 PIL 计算图像的方式会产生浮点图像，但是值在 [0, 255.0] 范围内的图像。当输入为浮点数时，skimage 将假定 data_range 的范围为 [-1.0, 1.0]，因此您需要手动指定 data_range=255。

此外，请参阅文档字符串的注释部分以获取设置 gaussian_weights=True, sigma=1.5 以更接近于 Wang 等的 Matlab 脚本的建议。人。（我认为最近的Matlab也有自己的内置SSIM实现，但我没有尝试与那个案例进行比较，不知道它是否完全一样）。

ref_image = np.asfarray(Image.open('avion.bmp').convert('L'))
impaired_image = np.asfarray(Image.open('avion_jpeg_r5.bmp').convert('L'))
structural_similarity(ref_image, impaired_image, multichannel=True, gaussian_weights=True, sigma=1.5, use_sample_covariance=False, data_range=255)

当我尝试它时给出0.8292。

或者，您可以使用 skimage.io.imread 和 rgb2gray 读取数据并将其转换为灰度。在这种情况下，值将在 [0, 1.0] 范围内为您缩放，并且 data_range 应设置为 1.0。

from skimage.io import imread
from skimage.color import rgb2gray
ref_image = imread('avion.bmp')
ref_image = rgb2gray(ref_image)
impaired_image = imread('avion_jpeg_r5.bmp')
impaired_image = rgb2gray(impaired_image)

structural_similarity(ref_image, impaired_image, multichannel=True, gaussian_weights=True, sigma=1.5, use_sample_covariance=False, data_range=1.0)

给0.8265

我认为上述两种情况之间的细微差别可能是由于rgb2gray 使用的亮度转换与 PIL 的convert 方法不同。

【讨论】：