摘要
与其他关注复杂双目视觉特性的SIQA方法不同,本文提出了一种通过加减通道来描述视觉优势的视觉信息,这种视觉信息与图像失真密切相关。为了估计各通道在SIQA中的贡献,提出了一种基于局部能量的双目融合动态加权系统。此外,提取了基于多尺度和多方向的质量感知特征来描述视觉退化。
介绍
本文所提出的方法是建立在描述眼优势的加减法理论基础上的。在特征提取阶段,分别从加图和减图中提取NSS作为质量感知特征。相对于耗时的方法,我们的框架在预测精度和效率之间取得了很好的平衡。和会议文章相比,我们的文章有以下贡献:
- 详细解释了加法图和减法图的理论解释
- 为动态加权模型提供了完整的理论基础
- 在LIVE 3D数据库上进行了多个指标的比较,同时在MCL-3D库上进行了实验。
- 增加了在单个失真上的实验,并且分析了实验结果
提出的算法
根据双目加、减信道理论,提出了两种图像的求和和差分图,并从预处理后的图像中提取出NSS特征,有效地反映了立体图像的畸变。然后,利用支持向量机(SVM)来预测具有NSS特征的局部质量分数。最后,将双目求和的局部得分与差分图的局部得分相结合,建立新的动态权重系统,最终得到全局质量得分。
双目理论
根据HVS中的加法和减法通道理论,两个视图的神经信号形成两个新的立体对。
可以看出这两个图中的视觉信息完全不同,其中,减法图作为绝对视差图的一种,包含了由于视角不同而造成的两视图之间的差异,可以作为视差与深度信息的替代。由于失真对立体视觉有很大的影响,可以利用失真立体对的减法图来捕捉人类立体视觉的定向反射。考虑到视差的计算是非常耗时的,另一种选择是采用减法图来实现高效率和准确性之间的平衡。相比之下,加法图包含了冗余的视觉信息,这更像是信息丰富的图。失真立体对的加法图包括附加损失和细节损失之和。细节损失是指由于失真而造成的有用的视觉信息的损失,而加性损失则是指在失真的图像中并没有出现在原始图像中,而是在失真的图像中同时出现并影响图像质量的冗余视觉信息。
为了模拟双目视觉处理机制,左右视图的响应被用来量化眼优势。
W是单视图的响应,b表示双眼度(眼优势度),描述从单眼反应到双眼反应的感受野属性,b绝对值大表示单眼反应强,绝对值小表示双眼反应强。
目前已经有很多双目视觉融合模型,但是哪种模型更加重要这一问题还没被解决。因此动态模型被提出来平衡每个通道的影响,这里的权重是局部能量权重的平均值。
NSS特征提取
这里提取图像小波系数的三个特征,不同子带的幅度,方差,熵。
输入图像经过小波分解为四个尺度,8个子带的图像,进行特征提取,这样每个通道会形成24个特征值。
质量预测
使用SVM进行预测
个人感想
个人感觉这篇文章的创新是将加法图和减法图进行了加权融合得到了另一个双目图,然后在加法图和减法图的理论解释上进行了详细解释,同时没有用到视差图,而是使用减法图代替了视差图,这样降低了算法的时间复杂度。但是在描述部分好像有问题,仔细阅读发现算法的描述和框架图不符,框架图是加法图和减法图加权生成一个新的图,而描述是将加法图和减法图的得分进行加权得到最终的质量分数。