基于语义边缘描述的跨越季节的乡村环境图像位置识别
摘要
基于图像的位置识别的大部分研究工作都是针对城市环境而设计的。 在田园环境中，例如质地低，语义含量低的自然场景，主要挑战是应对视觉外观随时间的变化，例如光照，天气，植被状态或视点。 变化的性质是不同的，这导致了描述田园风光的不同方法。 我们介绍根据其语义和拓扑信息计算的全局图像描述。 它是基于图像语义边缘的小波变换构建的。 然后，匹配两个图像等效于匹配它们的语义边缘变换。 该方法在两个多季节环境监视数据集：CMU季节和Symphony Lake数据集上达到了最先进的图像检索性能。 它还将其概括为与当前基准NetVLAD和DELF相当的城市场景。
Local feature detection and extraction
常规的语义分割：
小于min_blob_size的sementic blobs被合并到其最近邻。
去掉汽车、人等分类，其造成的空洞由周围最近的语义标签替代。
以清理后的语义分割结果为输入，执行simple Canny-based edge detection，并过滤掉小于min_edge_size像素的边缘
对于每个类别，如果两个边缘末端在一个像素距离以下，则将相应的边缘分组为一个唯一的边缘
We use the segmentation model from [21]. It features a PSP-Net [22] network trained on Cityscapes [24] and later finetuned on the Extended-CMU-Seasons dataset.
ocal feature description
在现有的许多边缘描述符中，我们倾向于小波描述符[11]，因为它与图像重建相关。它将一个信号投射到一个已知函数的基准上，通常用来生成一个紧凑但唯一的信号表示。小波描述不是产生信号唯一表示的唯一变换。傅立叶描述符[25]，[26]也提供这样一个独特的嵌入。然而，小波描述比傅里叶描述更紧凑，因为它的多尺度分解。从经验上，我们证实了前者更能说明问题
小波变换 - 》 最终的边缘描述符是一个128维向量。
Aggregation and Image distance
聚集是边缘描述符及其标签的简单累积。 给定两个图像并使用聚合的边缘描述符，图像距离是匹配边缘之间的平均距离。 更准确地说，属于相同语义类别的边缘在图像之间关联，从而解决了分配问题（见图2）。 所使用的距离是边缘描述符之间的欧几里得距离，而图像距离是相关描述符距离的平均值。 在检索设置中，我们计算查询图像与数据库中每个图像之间的距离，并返回距离最小的数据库条目