SSIM的全称为structural similarity index，即为结构相似性，是一种衡量两幅图像相似度的指标。该指标首先由德州大学奥斯丁分校的图像和视频工程实验室(Laboratory for Image and Video Engineering)提出。而如果两幅图像是压缩前和压缩后的图像，那么SSIM算法就可以用来评估压缩后的图像质量。

SSIM如何表征相似性： 

先给出一组公式： 


uX、uY分别表示图像X和Y的均值，σX、σY分别表示图像X和Y的标准差，σX*σX、σY*σY（实在打不出上标啊，理解万岁）分别表示图像X和Y的方差。σXY代表图像X和Y协方差。C1，C2和C3为常数，是为了避免分母为0而维持稳定。通常取C1=(K1*L)^2, C2=(K2*L)^2, C3=C2/2, 一般地K1=0.01, K2=0.03, L=255（  是像素值的动态范围，一般都取为255）

最后的SSIM指数为： 


当我们设定C3=C2/2时，我们可以将公式改写成更加简单的形式： 


所以结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。

如何求得均值，方差与标准差： 


而在实际应用中，一般采用高斯函数计算图像的均值、方差以及协方差，而不是采用遍历像素点的方式，以换来更高的效率。

下面的链接我们将用一个简单的程序实现SSIM算法，并作出对比实验： 
http://blog.csdn.net/chaipp0607/article/details/70160307

SSIM的全称为structural similarity index，即为结构相似性，是一种衡量两幅图像相似度的指标。该指标首先由德州大学奥斯丁分校的图像和视频工程实验室(Laboratory for Image and Video Engineering)提出。而如果两幅图像是压缩前和压缩后的图像，那么SSIM算法就可以用来评估压缩后的图像质量。
SSIM如何表征相似性：
先给出一组公式：
uX、uY分别表示图像X和Y的均值，σX、σY分别表示图像X和Y的标准差，σX*σX、σY*σY(实在打不出上标啊，理解万岁)分别表示图像X和Y的方差。σXY代表图像X和Y协方差。C1，C2和C3为常数，是为了避免分母为0而维持稳定。通常取C1=(K1*L)^2, C2=(K2*L)^2, C3=C2/2, 一般地K1=0.01, K2=0.03, L=255( 是像素值的动态范围，一般都取为255)
最后的SSIM指数为：
当我们设定C3=C2/2时，我们可以将公式改写成更加简单的形式：
所以结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。
如何求得均值，方差与标准差：
而在实际应用中，一般采用高斯函数计算图像的均值、方差以及协方差，而不是采用遍历像素点的方式，以换来更高的效率。
作者：chaibubble
来源：CSDN
原文：https://blog.csdn.net/chaipp0607/article/details/70158835
版权声明：本文为博主原创文章，转载请附上博文链接！

前言：前面的一片文章中较为系统的归纳了图像质量评价的各种指标，其中使用的最多的就是PSNR和SSIM，鉴于PSNR较为简单，本文专门介绍SSIM的思想以及它的实现。

前一篇文章参考：图像质量评估各项指标（一）

一、从均方误差MSE和峰值信噪比PSNR说起



计算图像降噪后的质量，最 直接的思路即比较降噪后的图像与真实图像（distortion-free）之间的差剖面，即可视误差，通过 visibility of errors 评价图像质量。PSNR 和 MSE 就是基于这种简单直接的思路确定的指标，

MSE（Mean Squared Error），顾名思义，定义略。

PSNR（Peak Signal to Noise Ratio），峰值信噪比，即峰值信号的能量与噪声的平均能量之比，通常表示的时候取 log 变成分贝（dB），由于 MSE 为真实图像与含噪图像之差的能量均值，而两者的差即为噪声，因此 PSNR 即峰值信号能量与 MSE 之比。定义式如下：



​    第二个等式由于图像像素点数值以量化方式保存，bits 即每个像素点存储所占的位数。因此 MaxValue 即为 2^bits - 1。

计算PSNR

def cal_psnr(im1, im2):
     mse = (np.abs(im1 - im2) ** 2).mean()
     psnr = 10 * np.log10(255 * 255 / mse)
     return psnr

由于 灰度等级gray scale 存成 8bit ，故最大值255。

当时上面的评价指标有一个大的问题，那就是

由于基于差剖面的简单计算不符合人类视觉系统（Human Visual System，HVS）的评价结果，因此需要对评价方式进行重新考量。如果图片的最终目的是对人类展示的话，那么质量应该以人的主管测评为准。但是由于主管评价不方便且费时，因此我们试图用客观的 图像质量评价来对图像进行评价，使其接近 HVS 的特点。由于 HVS 具有可以抓取图像的结构特征的特点，因此设计（结构相似性） Structural Similarity 进行评价，即 SSIM 。

注意：PSNR和SSIM都是全参考的（full reference）的，也就是需要无噪声的真实图像作为参考依据。

 

二、结构相似性SSIM

SSIM的基本思路是，通过以下三个方面来对两幅图像的相似性进行评估，即


1. luminance，亮度

2. contrast，对比度

3. structure，结构


算法的框图基本如下：





 

基本流程为：


（1）对于输入的x和y，首先计算出（亮度测量）luminance measurement，进行比对，得到第一个相似性有关的评价；

（2）再减去luminance的影响，计算（对比度测量）contrast measurement，比对，得到第二个评价；

（3）再用上一步的结果除掉对比度的影响，再进行structure的比对。最后将结果combine，得到最终的评价结果。


从实现角度来讲，

（1）亮度luminance用均值表征，以标准图像x为例，当然还有另外一张作为对比的图像y,公式是一样的，如下：



（2）对比度contrast用经过均值归一化之后的方差表征，以标准图像x为例，当然还有另外一张作为对比的图像y,公式是一样的如下：



 

（3）结构用相关系数（就是统计意义上的 r ，协方差与方差乘积的比值）。

相关系数本来的公式如下：



在这里即为：



其中，有：



注意：


上面的计算我们在实际应用的时候一般不这样去逐像素计算，一般采用高斯核函数（即高斯卷积）计算图像的均值、方差以及协方差，而不是采用遍历像素点的方式，以换来更高的效率。


 

具体的计算公式如下所示：

（1）亮度luminance测量值——实际上式ux，uy的函数



（2）对比度contrast测量值——实际上是δx和δy的函数



（3）结构structure测量值——实际上是δxy与δx，δy的函数



其中，有：



最终的结构相似性公式如下：



其中三个参数α，β，γ 用来表示这三个模块的重要性。

其中SSIM表示相似度，这个算子应当满足作为度量的基本性质，即


Symmetry，交换x和y顺序不影响结果。
	
Boundedness，值要有界，这里时小于等于1.。
	
Unique maximum，最大值，即1，只有当 x = y 时候取到。


为了得到简化形式，令



于是得到下面的简化公式：



这就是一般我们计算的表达式。


所以结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。


补充：

但是由于SSIM应该应用于局部，这是为了拟合人类视觉的局部性的特点，因此实际上我们用 mean-SSIM或者MSSIM，对各个local window的SSIM求平均。什么意思呢？

实际上就是先将一副图像划分成一些区域，对每一个区域求一个SSIM的值，然后一幅图像上面的所有区域的SSIM的平均值作为整个图像的SSIM值。

 

三、SSIM的实现

（1）方式一：python的skimage库中实现了一些常见的评价指标如

from skimage.measure import compare_mse     #均方误差
from skimage.measure import compare_psnr    #峰值信噪比
from skimage.measure import compare_ssmi    #结构相似性

（2）自己实现：代码如下

 

 

 

 

应用场景
结构相似性，是一种衡量两幅图像相似度的指标，通常用作图像质量评估，在图像重建、压缩领域，可以计算输出图像与原图的差距。
MSE
有很多算法可以计算输出图像与原图的差距，其中最常用的一种是 Mean Square Error loss（MSE）。它的计算公式很简单：
$MSE=\frac{1}{n} \sum [I_i-K_i]^{2}$
就是计算重建图像与输入图像的像素差的平方，然后在全图上求平均。

有时候两张图片只是亮度不同，但是之间的 MSE loss 相差很大。而一幅很模糊与另一幅很清晰的图，它们的 MSE loss 可能反而相差很小:



结合神经科学的研究，认为我们人类衡量两幅图的距离时，更偏重于两图的结构相似性，而不是逐像素计算两图的差异。
SSIM算法
SSIM使用的两张图像中，一张为未经压缩的无失真图像，另一张为失真后的图像。
相似性按三个维度进行比较：

亮度（luminance）l(x,y)
对比度（contrast）c(x,y)
结构（structure）s(x,y)

最终相似度为这三者的函数：


亮度
以平均灰度来作为亮度测量的估计：


对比度
所谓对比度，就是图像明暗的变化剧烈程度，也就是像素值的标准差，测量系统知道要把平均灰度值从信号中去除，对于离散信号，可使用标准差来做对比度估量值。


结构
需要注意的是，对一幅图而言，其亮度和对比度都是标量，而其结构显然无法用一个标量表示，而是应该用该图所有像素组成的向量来表示。同时，研究结构相似度时，应该排除亮度和对比度的影响，即排除均值和标准差的影响，可用归一化图像向量$(x-μ _x)$来做结构对比估计。该向量长度为
$\sum_{i=1}^{N}(x_{i}-\mu_{x})^2=\sqrt{N-1} *\sigma_{x}$
相似函数
三个公式定量计算这三者的相似性，公式的设计遵循三个原则：

对称性：$S(x,y)=S(y,x)$
有界性：$S(x,y)≤1$
极限值唯一：$S(x,y)=1$当且仅当 $x = y$

作者用如下公式衡量两幅图 x 和 y 的亮度相似度：
$l(x,y)= \frac{2μ_xμ _y+C1}{μ_x^2+μ _y^2+C_1}$
这里$C_1$ 	是为了防止分母为零的情况，且：
$C_{1}=\left(K_{1} L\right)^{2}$

其中$K_1≪1$是一个常数，具体代码中的取值为 0.01，L 是灰度的动态范围，由图像的数据类型决定，如果数据为 uint8 型，则 L=255。该公式对称且小于等于1，当 x = y 时等号成立。

对比度的相似度（标准差）公式和亮度（均值）公式极为相似，，所以相似度也可以借鉴过来，作者定义对比度相似度：

不过把均值换成了方差，作者定义：
$c(\mathrm{x}, \mathrm{y})=\frac{2 \sigma_{\mathrm{x}} \sigma_{\mathrm{y}}+C_{2}}{\sigma_{\mathrm{x}}^{2}+\sigma_{\mathrm{y}}^{2}+C_{2}}$

其中：
$C_{2}=\left(K_{2} L\right)^{2}$

一般$K_2$在代码中取 0.03。该公式也对称且小于等于1，当 x = y 时等号成立。

对于结构相似度，可以采用是归一化的两个向量：$\frac{\mathrm{x}-\mu_{x} }{\sqrt{N-1}*\sigma_{x}}$和$\frac{\mathrm{y}-\mu_{y}}{\sqrt{N-1}*\sigma_{y}}$之间的关系来衡量。

它们的余弦相似度为：
$\begin{aligned} s(\mathrm{x}, \mathrm{y}) =\left(\frac{1}{\sqrt{N-1}} \frac{\mathrm{x}-\mu_{\mathrm{x}}}{\sigma_{\mathrm{x}}}\right) \cdot\left(\frac{1}{\sqrt{N-1}} \frac{\mathrm{y}-\mu_{\mathrm{y}}}{\sigma_{\mathrm{y}}}\right) \\
=\frac{1}{\sigma_{\mathrm{x}} \sigma_{\mathrm{y}}}\left(\frac{1}{N-1} \sum_{i=1}^{N}\left(x_{i}-\mu_{\mathrm{x}}\right)\left(y_{i}-\mu_{\mathrm{y}}\right)\right) \end{aligned}$

​	

上式中第二行括号内的部分为协方差公式：
$\sigma_{\mathrm{xy}}=\frac{1}{N-1} \sum_{i=1}^{N}\left(x_{i}-\mu_{\mathrm{x}}\right)\left(y_{i}-\mu_{\mathrm{y}}\right)$

为了防止分母为0，分子分母同时加$C_3$：
$s(\mathrm{x}, \mathrm{y})=\frac{\sigma_{\mathrm{xy}}+C_{3}}{\sigma_{\mathrm{x}} \sigma_{\mathrm{y}}+C_{3}}$
SSIM
根据上面三个公式，定义两幅图像的相似度为：

$SSIM(x,y)=l(x,y)⋅c(x,y)⋅s(x,y)$
可以巧妙的令$C_3 = C_2/2$，使得$c(\mathrm{x, y})$的分子和 $s(\mathrm{x, y})$ 的分母可以约分，最终得到 SSIM 的公式：
$\operatorname{SSIM}(\mathrm{x}, \mathrm{y})=\frac{\left(2 \mu_{\mathrm{x}} \mu_{\mathrm{y}}+C_{1}\right)\left(2 \sigma_{\mathrm{xy}}+C_{2}\right)}{\left(\mu_{\mathrm{x}}^{2}+\mu_{\mathrm{y}}^{2}+C_{1}\right)\left(\sigma_{\mathrm{x}}^{2}+\sigma_{\mathrm{y}}^{2}+C_{2}\right)}$
MSSIM
上面的 SSIM 不能用于一整幅图，因为在整幅图的跨度上，均值和方差往往变化剧烈；同时，图像上不同区块的失真程度也有可能不同，不能一概而论；此外类比人眼睛每次只能聚焦于一处的特点，采用 sliding window 以步长为 1 计算两幅图各个对应 sliding window 下的 patch 的 SSIM，然后取平均值作为两幅图整体的 SSIM，称为 Mean SSIM。简写为 MSSIM（注意和后续出现的 multi-scale SSIM：MS-SSIM 作区分）。
假如整幅图有 M 个 patch，那么 MSSIM 公式为：
$\operatorname{MSSIM}(\mathrm{X}, \mathrm{Y})=\frac{1}{M} \sum_{j=1}^{M} \operatorname{SSIM}\left(\mathrm{x}_{j}, \mathrm{y}_{j}\right)$
优化技巧
需要知道的数学公式大概是：
$\sigma_{\mathrm{x}}^{2}=E\left[\mathrm{x}^{2}\right]-E^{2}[\mathrm{x}]$
$\sigma_{\mathrm{xy}}^{2}=E[\mathrm{xy}]-E[\mathrm{x}] E[\mathrm{y}]$