从 3D 点云检测鼻尖答案

【问题标题】：Nose Tip Detection from 3D point cloud从 3D 点云检测鼻尖
【发布时间】：2014-04-09 22:50:54
【问题描述】：

我正在尝试实现头部姿势估计算法，并且正在使用飞行时间相机。我需要检测从相机获得的点云数据中的鼻尖。在我知道鼻尖在哪里之后，我会在它周围采样 N 个最近邻点，并在点云的那部分进行最小二乘误差平面拟合以检索偏航角和俯仰角。鼻子检测应该适用于不同的头部姿势，而不仅仅是完整的正面头部姿势。

我实现了平面拟合，效果很好，但我不知道如何从 3D 数据中检测鼻尖。

任何关于如何做到这一点的建议将不胜感激。

问候，五、

【问题讨论】：

我尝试使用来自 OpenCV 的 haar 级联在我也从 TOF 相机获得的灰度图像中检测它。我知道 2D 到 3D 的对应关系，所以也可以这样做。在 2D 图像中找到鼻尖并检索其 3D 位置。问题是它只适用于正面姿势。
在 2D 中，我使用测地线来比较曲线上的长度与图形内部的长度：同样适用于 3D 点云。这可以帮助找到本地化的凹凸和凸出。

标签： image-processing 3d computer-vision face-detection face-recognition

【解决方案1】：

我曾经使用深度 z > .5m 的 Kinect 图像，见下文。我希望你的 ToF 相机没有这个限制。鼻子作为物体不是很明显，但可能可以使用深度图像上的连接分量检测到。你必须在其他平面上找到它作为一个斑点。您可以通过比较面部深度与鼻子深度以及鼻子相对于面部的位置来进一步确认它是鼻子。这当然不适用于应该以不同方式找到鼻子的非正面姿势。

我建议颠倒你的逻辑处理链：先找鼻子，然后找脸，然后开始寻找头部（作为一个更大的物体，可能有更好的深度对比度），然后是鼻子。头部在 3D 中由其大小和形状很好地定义，并且面部 2D 检测还可以使用 3D 中的相似性变换将原始头部模型拟合到您的 3D 点云中。

link to Kinect depth map

【讨论】：