如何估计/确定深度图像点处的表面法线和切平面？

Question

我有一张使用 3D CAD 数据生成的深度图像。该深度图像也可以从深度成像传感器（例如 Microsoft Kinect 或任何其他立体相机）中获取。所以基本上它是成像视图中可见点的深度图。换句话说，它是从某个视图中分割出的对象的点云。

我想确定（估计也可以）每个点的表面法线，然后找到该点的切平面。

我该怎么做？我做了一些研究，发现了一些技术，但没有很好地理解它们（我无法实现它）。更重要的是如何在 Matlab 或 OpenCV 中做到这一点？我无法使用surfnorm 命令来做到这一点。 AFAIK 它需要一个表面，我的深度图像中有部分表面。

这是一个示例深度图像。

[编辑]

我想要做的是，在获得每个点的表面法线后，我将在这些点创建切平面。然后使用这些切平面通过取相邻点到切平面的距离之和来确定该点是否来自平坦区域。

Answer 1

您可以参考《高效结合位置和法线以获得精确的 3D 几何》中的（5）、（6）和（8）：

Answer 2

mattnewport 建议可以在像素着色器中完成。在每个像素着色器中，您计算​​两个向量 A 和 B，向量的叉积将为您提供法线。你计算两个向量的方式是这样的：

float2 du //values sent to the shader based on depth image's width and height
float2 dv //normally du = float2(1/width, 0) and dv = float2(0, 1/height)
float D = sample(depthtex, uv)
float D1 = sample(depthtex, uv + du)
float D2 = sample(depthtex, uv + dv)
float3 A = float3(du*width_of_image, 0, D1-D)
float3 B = float3(0, dv*height_of_image, D2-D)
float3 normal = AXB
return normal

当深度值不连续时，这将中断。

要在像素着色器中计算表面是否平坦，可以使用二阶偏导数。计算二阶导数的方法是通过计算有限差分并找到差分：

float D = sample(depthtex, uv)
float D1 = sample(depthtex, uv + du)
float D3 = sample(depthtex, uv - du)

float dx1 = (D1 - D)/du
float dx2 = (D - D3)/du
float dxx = (dx2 - dx1)/du

以同样的方式计算dyy, dxy and dyx。如果dxx = dyy = dxy = dyx = 0.，则表面是平坦的

通常，您会选择 du 和 dv 为深度图像的 1/width 和 1/height。

所有这些都发生在 GPU 上，这让一切都变得非常快。但是，如果您不关心这一点，您也可以在 CPU 中运行此方法。唯一的问题是你要替换像sample 这样的函数并实现你自己的版本。它将深度图像和u，v值作为输入，并返回采样点的深度值。

编辑：

这是一个假设的采样函数，它在 CPU 上进行最近邻采样。

float Sample(const Texture& texture, vector_2d uv){
    return texture.data[(int)(uv.x * texture.width + 0.5)][(int)(uv.y * texture.height + 0.5];
}

Answer 3

我会从概念上描述我认为你必须做的事情，并提供 opencv 相关部分的链接，

确定点云中给定 (3d) 点的法线：

1. 创建点云的 kd-tree 或（balltree？）表示，以便您可以有效地计算 k 个最近邻。您对 k 的选择应取决于数据的密度。 http://docs.opencv.org/trunk/modules/flann/doc/flann_fast_approximate_nearest_neighbor_search http://physics.nyu.edu/grierlab/manuals/opencv/classcv_1_1KDTree.html

2. 查询给定点 p 的 k 最近邻后，使用它们找到最佳拟合平面。您可以使用 PCA 来执行此操作。设置 maxComponents=2。 http://physics.nyu.edu/grierlab/manuals/opencv/classcv_1_1PCA.html https://github.com/Itseez/opencv/blob/master/samples/cpp/pca.cpp

3. 第 2 步应返回定义您感兴趣的平面的两个特征向量。这两个向量的叉积应该是（估计）您所需的法线向量。您可以在 opencv (Mat::cross) http://docs.opencv.org/modules/core/doc/basic_structures.html

中找到如何计算的信息

Answer 4

因此，您的问题中有一些未定义的内容，但我会尽力概述答案。

您想要做的基本想法是获取图像的渐变，然后对渐变应用变换以获得法线向量。在matlab中取梯度很容易：

[m, g] = imgradient(d);

为我们提供图像在每个点的梯度（相对于水平方向，以度为单位）的幅度 (m) 和方向 (g)。例如，如果我们显示图像的渐变幅度，它看起来像这样：

现在，更难的部分是获取关于梯度的这些信息并将其转换为法线向量。为了正确地做到这一点，我们需要知道如何从图像坐标转换到世界坐标。对于像您这样的 CAD 生成图像，此信息包含在用于制作图像的投影变换中。对于您从 Kinect 获得的真实图像，您必须查找图像捕获设备的规格。

我们需要的关键信息是：真实世界坐标中每个像素的宽度是多少？对于非正交投影（如真实世界图像捕获设备使用的投影），我们可以通过假设每个像素代表真实世界固定角度内的光来近似这一点。如果我们知道这个角度（称它为p 并以弧度为单位测量它），那么一个像素所覆盖的真实世界距离就是sin(p) .* d，或者近似为p .* d，其中d 是图像的深度每个像素。

现在，如果我们有这些信息，我们可以构造法向量的 3 个分量：

width = p .* d;
gradx = m .* cos(g) * width;
grady = m .* sin(g) * width;

normx = - gradx;
normy = - grady;
normz = 1;

len = sqrt(normx .^ 2 + normy .^ 2 + normz .^ 2);
x = normx ./ len;
y = normy ./ len;
z = normz ./ len;