opencv中flann的特征匹配答案

【问题标题】：Feature matching with flann in opencvopencv中flann的特征匹配
【发布时间】：2018-02-25 04:29:54
【问题描述】：

我正在处理一个图像搜索项目，我使用自己的算法定义/提取了关键点特征。最初我只提取单个特征并尝试使用 cv2.FlannBasedMatcher() 进行匹配，它运行良好，我已实现如下：

Here vec is 2-d list of float values of shape (10, )
Ex:
[[0.80000000000000004, 0.69999999999999996, 0.59999999999999998, 0.44444444444444448, 0.25, 0.0, 0.5, 2.0, 0, 2.9999999999999996]

[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001]

[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001]

[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001]]

vec1 = extractFeature(img1)
vec2 = extractFeature(img2)

q1 = np.asarray(vec1, dtype=np.float32)
q2 = np.asarray(vec2, dtype=np.float32)

FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks=50)   # or pass empty dictionary
flann = cv2.FlannBasedMatcher(index_params,search_params)
matches = flann.knnMatch(q1,q2,k=2)

但是现在我为每个关键点多了一个特征描述符以及前一个但长度不同的特征描述符。所以现在我的特征描述符的形状是这样的：

[[[0.80000000000000004, 0.69999999999999996, 0.59999999999999998, 0.44444444444444448, 0.25, 0.0, 0.5, 2.0, 0, 2.9999999999999996],[2.06471330e-01,   1.59191645e-02,   9.17678759e-05, 1.32570314e-05,   4.58424252e-10,   1.66717250e-06,6.04810165e-11]

[[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001],[ 2.06471330e-01,   1.59191645e-02,   9.17678759e-05, 1.32570314e-05,   4.58424252e-10,   1.66717250e-06, 6.04810165e-11],

[[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001],[ 2.06471330e-01,   1.59191645e-02,   9.17678759e-05, 1.32570314e-05,   4.58424252e-10,   1.66717250e-06, 6.04810165e-11],

[[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001],[ 2.06471330e-01,   1.59191645e-02,   9.17678759e-05, 1.32570314e-05,  4.58424252e-10,   1.66717250e-06, 6.04810165e-11]]

现在，由于每个点的特征描述符是一个列表，两个列表（描述符）具有不同的长度，即 (10, 7, )，所以在这种情况下我得到了错误：

使用序列设置数组元素。

在将特征描述符转换为浮点数据类型的 numpy 数组时：

q1 = np.asarray(vec1, dtype=np.float32)

我知道这个错误的原因是列表的长度不同，所以我想知道实现相同的正确方法是什么？

【问题讨论】：

标签： python opencv image-processing feature-extraction flann

【解决方案1】：

您应该定义一个大小为 10+7=17 的描述符。

这样，空间描述符现在是 17，您应该可以使用cv2.FlannBasedMatcher。

要么创建一个正确大小的全局描述符desc_glob = np.zeros((nb_pts,17)) 并手动填充它，要么找到一种 Python 方法来完成它。也许np.reshape((nb_pts,17))？

编辑：

为了不偏爱一种描述符类型，您需要对描述符进行加权或规范化。这与从两个描述符计算全局描述符距离的原理相同：

dist(desc1, desc2) = dist(desc1a, desc2a) + lambda * dist(desc1b, desc2b)

【讨论】：

即使两个特征具有不同的维度，这是否有效？
不，所有特征的描述符大小必须相同。否则，您无法计算它们之间的距离。这就像计算 2D 点和 3D 点之间的距离。除非您将 2D 点转换为 3D 点并为 z 坐标分配默认值，否则这是无效的，例如0.
抱歉打错了，我问的是具有不同单位或类型的向量的情况，比如 vec1 表示一个点的半径特征，而 vec2 表示关键点的区域特征。我是否必须为向量分配某些权重才能对其进行归一化？
是的，您可能需要对描述符进行归一化或加权，以免一种描述符类型优于另一种。这与使用两个描述符相同，您必须找到一种计算全局距离的方法：dist(desc1a, desc2a) + lambda * dist(desc1b, desc2b)。