Affordance Detection of Tool Parts from Geometric Features

@ICRA 2015

背景介绍

Affordence 解释：Affordence
本文提出从定位和几何原语提出两种方法学习Affordence：基于高像素的层次匹配（S-HMP）和结构化随机森林（SRF）。

S-HMP

深度特征：首先应用平滑和插值算子来减少噪声和失去的深度值。然后，从块中减去平均值获得深度绝对变化的鲁帮性。这些块直接用HMP学习层次稀疏编码字典。第一层，HMP捕捉原始结构像变化方向的深度边缘，更高层编码越来越抽象的表示。
曲面法线：使用深度相机的内参从估计的3D曲面法线恢复3D点云。
主曲率：主曲率是局部块几何的外在不变量，与视点无关。主曲率（$k_{1},k_{2}$k1​,k2​）$k_{1}>k_{2}$k1​>k2​描述曲面如何在不同的方向弯曲。
形状指数和曲率（SI+CV）：
$SI=-\frac{2 }{\pi}arctan(\frac{k_{1}+k_{2}}{k_{1}-k_{2}}),CV=\sqrt{\frac{k_{1}^{2}+k_{1}^{2}}{2}}$SI=−π2​arctan(k1​−k2​k1​+k2​​),CV=2k12​+k12​​​

给一张RGB-D图，使用SLIC算法合并深度和曲面法线信息将RGB-D图像中的物体分割成表面小碎片。使用多特征分割是必要的。对于每个高像素，使用HMP从每个不同的几何衡量计算层次稀疏编码HMP。

SRF

随机森林是集成学习的方法组合$K$K个决策树，可以进行分类或者回归。这篇论文工作，在输入和输出中对标准的随机森林加入结构化约束：
$G_{j}=H(D_{j}-\underset{c\epsilon{L,R}}{\sum}\frac{\left | D_{j}^{c} \right | }{\left | D_{j} \right|}H(D_{j}^{c})$Gj​=H(Dj​−cϵL,R∑​∣Dj​∣∣Djc​∣​H(Djc​)

结果