哈里斯拉普拉斯检测器和自动比例选择

Question

我确实想对哈里斯拉普拉斯探测器有一个基本的了解。我知道 Harris 检测器，但无法弄清楚 Harris Laplacian 检测器背后的想法。

假设我们有两张图片显示几乎相同的内容，但一张图片是按比例缩放的。 我们希望找到所有兴趣点，以便稍后检查它们的对应关系并稍后计算单应矩阵。显然我们需要一个尺度不变的兴趣点检测器。

我认为哈里斯-拉普拉斯算子的工作原理（非常抽象；如果我错了，请纠正我）：

• 将 Harris 检测器应用于两个图像
• 对 Harris 检测器返回的每个兴趣点应用一个函数
• 保留所有最大化拉普拉斯算子的点
• 缩放图像并将 Harris 检测器再次应用于两个图像
• ...重复其他步骤...

我的问题：

1. 什么样的点可以最大化拉普拉斯算子？
2. 我应用到兴趣点的函数，它是什么样子的？我是否真的将其应用于兴趣点或点周围的补丁？
3. 我已经阅读了该函数的最大值。我们需要它做什么，它告诉我们什么？
4. 似乎这种方法是一种蛮力（缩放图像，应用 harris，检查要保留的点，再次缩放图像，应用 harris，...）。这不是非常低效吗？
5. 我们想要保留的点必须最大化拉普拉斯算子。什么是“拉普拉斯算子”？是拉普拉斯算子吗？
6. 如果一个点使拉普拉斯算子最大化，我们每个尺度都有几个点。我们如何获得最终的兴趣点 - 我们从哪个规模获得它们？
7. 算法何时终止？
8. 我们为什么使用拉普拉斯算子？

很多问题：/

Answer 1

我认为最好阅读 Mikolajczyk 等人关于 Harris-Laplace 的论文以及他论文的部分内容；但我会尽量回答你的问题..

首先，您为什么要问最大化拉普拉斯算子的点？拉普拉斯算子的三阶导数和四阶导数将为您提供有关拉普拉斯算子极值的信息，但这里不是的情况。在哈里斯拉普拉斯检测器中使用了拉普拉斯尺度上最大化的点。

第二，“对哈里斯检测器返回的每个兴趣点应用一个函数”，据我所知，不，你不应用一个函数。 所以;

1- 不是最大化拉普拉斯算子，而是在拉普拉斯算子尺度上最大化在该算法中发现为 F[Laplacian(scale = x-1)] Laplacian (scale = x+1)，以这种方式，该点被接受为 Laplacian scale 中的最大值。您还拒绝值低于定义的阈值的点。拉普拉斯值也用尺度 i 和点 x 的尺度定义； F(scale = i)=sigma(i)^2* |(Laplacianxx(x,i) * Laplacianyy(x,i))|

2- 功能？如果我在这里遗漏了一点，请对此发表评论。

3- 因为我不知道函数，所以我也不知道它的最大值。

4- 高斯和导数是线性函数。因此，只需对您的高斯求导并获得其拉普拉斯算子，该滤波器对图像的简单卷积即可为您提供图像的 LoG。但是，还有其他 Scale 不变点检测器，如果您认为它们在您的情况下执行得更快，您可以使用其中的许多检测器。

5- 是的，它是拉普拉斯算子，但我想我已经回答了最大的困惑。

6- 如果您不了解缩放，则可以全部了解。否则，如果您询问选择用于图像匹配的比例和补丁​​大小，这是关于比例匹配的。尺度之间的拉普拉斯度量，对于某些值将是相似的。查看本演示文稿的第一张幻灯片http://campar.in.tum.de/twiki/pub/Chair/TeachingWs09MATDCV/feature_detectors2.pdf。此外，您可能想阅读题为“比例协变点”的论文部分。您会在底部找到链接。

7- 你决定你的规模空间的限制。在您的程序完成计算您定义的比例后（当然检测到点），您的程序应该完成。我不是在说两个图像和相应的问题，你以后应该集中精力。

8- 在他们的论文中，他们发现拉普拉斯尺度比 3D 尺度空间更有效。看看另一个 stackoverflow 问题Harris-Laplacian-Detector: Corner- and Blob-Detector?。您还将找到他的论文，其中清楚地解释了 Harris-Laplace 检测器。

我希望这会有所帮助，祝你好运:)

Answer 2

你有很多问题，但我不会直接回答他们，因为他们有很多。相反，我想说什么是“哈里斯-拉普拉斯”检测器：

“Harris-Laplacian”方法在 K.Mikolajczyk, C.Shmitd “Indexing Based on Scale invariant Interest Points”中提到，ICCV 2001。

“Harris 角点检测器” 是一种从 1988 年开始在图像中发现角点的机制。 （它是存在的超参数来调整它）。它可以给你角落和它的方向。

“拉普拉斯算子”是微分算子，但在计算机视觉中，它可以表示（询问您正在与之交谈的人）“2d 高斯函数的拉普拉斯算子乘以 sigma^2”。 Gausian 是用 prob 中的 pdf 格式写成的。理论（我提到它是因为例如 e^{-\pi*x^2} 的替代形式也很有用，但它不在概率论中使用）。 协方差矩阵是对角的。所以这是一个很好的高斯函数。在下文中，我将把“二维高斯的归一化拉普拉斯算子”称为“L”。

例如，在将输入图像与它进行卷积之后，您会得到另一张图像。这种输出称为响应（来自信号处理或信号过滤的术语）。

在原始图像中通过哈里斯检测器估计角点位置后，通过“卷积”图像与“L”估计角点对象的大小，并在“sigma”空间中找到最大响应。这是名为“Harris-Laplacian”的方法

所以：Harris 检测器给你一个角的位置和它的方向，与 L 卷积得到你在角附近感兴趣区域的大小r，即角的大小。

---

附言如果您将矩形信号与“宽度”等于 W 进行卷积，那么如果您将其与 L 进行卷积，且 sigma 等于宽度（从实践中观察到），您将收到的最大响应。 我不知道为什么。我没有直接研究高斯函数的归一化拉普拉斯算子，但它看起来很有趣。