【问题标题】:Does GrabCut Segmentation depend on the size of the image?GrabCut 分割是否取决于图像的大小?
【发布时间】:2013-01-17 09:31:33
【问题描述】:
我一直在思考这个问题,但从未真正对此进行过详细的分析。使用GrabCut[1] 算法进行前景分割是否取决于输入图像的大小?直觉上,在我看来,由于grabcut 基于颜色模型,颜色分布不应该随着图像大小的变化而改变,但较小图像中的[锯齿]伪影可能会起作用。
任何关于图像大小依赖于使用抓取的图像分割的想法或现有实验都将受到高度赞赏。
谢谢
[1] C. Rother、V. Kolmogorov 和 A. Blake,GrabCut:使用迭代图形切割的交互式前景提取,ACM Trans。图,卷。 23,第 309-314 页,2004 年。
【问题讨论】:
标签:
image
image-processing
computer-vision
image-segmentation
【解决方案1】:
尺寸很重要。
GrabCut 的目标函数平衡了两个方面:
- 衡量每个像素与前景/背景颜色模型的拟合度的一元项。
- 衡量分割边界“复杂性”的平滑项(成对项)。
第一项(一元)与前景的面积成比例,而第二项(平滑度)与前景的周长成比例。
因此,如果将图像缩放 x2 因子,则面积会增加 x4,而周长仅大致缩放 x2 因子。
因此,如果您针对特定图像尺寸/比例调整(或学习)能量函数的参数,这些参数可能不适用于不同的图像尺寸。
PS
您知道 Office 2010 的“前景选择工具”是基于 GrabCut 算法的吗?
【解决方案2】:
这是GrabCut paper 的 PDF,由 Microsoft Research 提供。
图像大小的两个主要影响是运行时间和图像中细节的比例,这可能被认为是重要的。在这两者中,运行时间是 GrabCut 中最让你烦恼的一个 - 图形切割方法已经相当慢,而且 GrabCut 会反复使用它们。
首先将图像下采样到较小的分辨率是很常见的,通常与低通滤波器结合使用(即使用高斯核对源图像进行采样)。这显着减少了算法运行的n,同时减少了小细节和噪声对结果的影响。
您还可以使用遮罩将处理限制在图像的特定部分。作为初始“抓取”或选择阶段,您已经在 GrabCut 中获得了其中的一些,稍后在基于画笔的细化阶段再次获得。此阶段还为您提供了一些有关比例的隐含信息,即感兴趣的特征可能填充了大部分选择区域。
推荐:
以任何方便的比例显示图像,并将所选区域下采样到大约 n = 100k 到 200k 的范围(根据他们的示例)。如果需要提高结果质量,以初始阶段的结果为起点,进行后续更高分辨率的迭代。