内容感知填充如何工作？答案

【问题标题】：How does Content-Aware fill work?内容感知填充如何工作？
【发布时间】：2011-02-01 14:14:58
【问题描述】：

在即将发布的 Photoshop 版本中，有一个名为 Content-Aware fill 的功能。

此功能将根据周围图像填充选择的图像 - 以至于它可以生成灌木和云，同时与周围图像无缝。

请参阅http://www.youtube.com/watch?v=NH0aEp1oDOI 以预览我所说的 Photoshop 功能。

我的问题是： 此功能在算法上是如何工作的？

【问题讨论】：

我的理论？它与 Google 地球/地图相关联，以确定您拍摄的照片，然后将周围的图像数据拉下并将其插入到您的原始图像中 :)
这很神奇。证明我错了。
解决这个问题：cs.stackexchange.com/questions/23794/… 可以很容易地用于“修复”。

标签： algorithm graphics image-processing artificial-intelligence photoshop

【解决方案1】：

好吧，由于显而易见的原因，他们不会说出来。该技术的总称是“inpainting”，你可以查一下。

具体来说，如果您看看 Criminisi 在 Microsoft http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.67.9407 所做的工作以及 Todor Georgiev 现在在 Adobe http://www.tgeorgiev.net/Inpainting.html 所做的工作，您将能够做出很好的猜测。我会说 90% 的猜测，这应该足够了。

【讨论】：

【解决方案2】：

很长一段时间以来，GIMP 的算法非常相似。它被称为resynthesizer，也许你应该能够找到它的来源（也许在project site）

编辑
ubuntu repository也有可用的源代码
在这里您可以看到使用 GIMP 处理相同的图像：http://www.youtube.com/watch?v=0AoobQQBeVc&feature=related

【讨论】：

当我上次查看重新合成器（我认为是 0.13 版）时，它落后于最先进的技术（参见例如我的回答中引用的 Criminisi 的工作），因此速度很慢。当然，它仍然是免费提供的最好的。

【解决方案3】：

作为一种猜测（仅此而已），我希望它会对图像进行一些频率分析（有些类似于傅里叶变换）。通过只查看选区边缘的图像并忽略中间，它可以推断回中间。如果设计师选择了正确的原色，他们应该能够生成一个在边缘无缝融合到图像中的纹理。

编辑：查看视频中的最后一个示例；如果您查看原始图像的任一边缘的顶部，您会看到选择线沿着云层中的“间隙”向下延伸，并且在中间有一个“凹凸”。如果我的猜测是正确的，这些是我希望看到的人工制品。（OTOH，我也希望看到它们是否在选择边界上使用某种 sudo 镜像。）

【讨论】：

人们在 80 年代使用类似傅里叶的变换来做这些事情。从那以后事情就发生了，尽管在某些情况下这会给你一个很好的初步猜测。
AB：如果我不得不猜测，我仍然会说它在做同样的基本事情，只是它的更高级版本。

【解决方案4】：

我猜测，对于较小的孔，他们会在该区域周围抓取类似纹理的补丁来填充它。Connelly Barnes 和其他人在 SIGGRAPH 2009 的题为“PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing”的论文中对此进行了描述。对于较大的孔他们可以利用具有类似全局统计或纹理的大型图片数据库，如“Scene Completion Using Millions of Photographs”中所述。如果他们能以某种方式将两者融合在一起，我认为它应该像视频中那样工作。

【讨论】：

【解决方案5】：

我正在处理类似的问题。根据我的阅读，他们通常使用“PatchMatch”或“非参数补丁采样”。

PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing

【讨论】：

为什么我不能正常发布链接？
嗨，你能帮忙吗：cs.stackexchange.com/questions/23794/… 谢谢。

【解决方案6】：

一般的方法称为缝雕。 Ariel Shamir 的小组负责这里的开创性工作，该工作在 SIGGRAPH 2007 中提出。参见： http://www.faculty.idc.ac.il/arik/site/subject-seam-carve.asp

【讨论】：

为了记录，接缝雕刻不是内容感知填充。这是一种更简单的算法，可让您在不扭曲重要特征的情况下垂直和水平调整图像大小。

【解决方案7】：

我是前面提到的 PatchMatch 论文的合著者，我与创意技术实验室的 Ivan Cavero Belaunde 和 Eli Shechtman 以及 Jeff Chien 一起领导了 Photoshop 中原始内容感知填充功能的开发在 Photoshop 团队中。

Photoshop 的 Content-Aware Fill 使用 PatchMatch 论文中描述的算法的高度优化的多线程变体，以及称为“SpaceTime Video Completion”的旧方法。这两篇论文都在以下技术页面上引用了此功能：

http://www.adobe.com/technology/projects/content-aware-fill.html

您可以在 Adobe Research 网页上找到更多关于我们的信息。

【讨论】：

感谢您分享一些非常有价值的信息。这应该是正确的答案。