【问题标题】:detect differences in a pair of image, one has lower bitrate and one has higher检测一对图像中的差异,一个具有较低的比特率,一个具有较高的比特率
【发布时间】:2018-10-01 05:15:15
【问题描述】:

我尝试了多尺度 ssim 和 psnr 来检测一对图像中是否存在任何伪影(一个具有较高的比特率,一个具有较低的比特率)但它并不准确。

多尺度ssim误报太多,如果块颜色与背景非常相似,psnr无法检测到有块。

我想在一对图像上使用神经网络(一个是完美的,另一个可能有也可能没有块或线)来检测是否有任何差异。我已经尝试过对 Tensorflow 进行图像再训练以对有块和无块进行分类,但准确度非常低(50%)。我应该使用什么方法来获得更高的准确性?

我正在考虑一次将一对图像输入神经网络,以便它知道两个图像之间是否存在差异,它应该将其归类为 with_error。但问题是我如何将一对图像输入神经网络(我一次只能输入一个图像)以及如何让它在一对图像中相互学习。我看到人们将两张图片水平放置并保存为一张图片。可以这样检测吗?

这是我所做的 https://codelabs.developers.google.com/codelabs/tensorflow-for-poets/#0

我使用了上面链接中的代码,并用我的图片替换了花卉图片。我有两个文件夹,一个包含有错误的图像,一个没有。代码的输出是类的百分比,越高意味着它属于该类。

一对图像的例子是:

【问题讨论】:

  • 你能发布一些示例图像对吗?
  • 是的,我已经发布了
  • 为什么要使用神经网络?我认为有更简单的方法。
  • 你的意思是检测中间有白线的图像吗?如果不是,您需要更好/更多的示例图像对。
  • @ziggyjones 我想使用一些指标,如 psnr、ms-ssim,但准确性非常低,我认为它不能反映人类对质量的真实感知。你能建议一些方法吗?

标签: tensorflow neural-network computer-vision


【解决方案1】:

您可以使用来自 Netflix 的 VMAF - Video Multi-Method Assessment Fusion

来自Netflix Tech Blog (Medium)

基本原理是每个基本指标都可能有自己的 与源内容相关的优势和劣势 特征、伪影类型和失真程度。经过 使用 机器学习算法 — 在我们的例子中,支持向量机 (SVM) 回归器 — 为每个基本度量分配权重, 最终指标可以保留个人的所有优势 指标,并提供更准确的最终分数。机器学习 模型使用通过获得的意见分数进行训练和测试 一个主观实验(在我们的例子中是 NFLX 视频数据集)。

因此我认为它适合您的用例!

希望对您有所帮助!干杯

【讨论】:

  • 很高兴它有帮助!我希望我早点看到这篇文章
猜你喜欢
  • 2013-04-12
  • 1970-01-01
  • 1970-01-01
  • 2021-07-16
  • 2016-05-26
  • 2018-01-20
  • 2021-12-03
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多