毫米波雷达网络研究五:孪生网络(Siamese Network)
论文名称:《Vehicle Detection With Automotive Radar Using Deep Learning on Range-Azimuth-Doppler Tensors》
LSTM网络(长短记忆网络)适合毫米波雷达原始数据的神经网络模型,该网络主要运用于语音信号,考虑到雷达信号与语音信号有一定相似性。但根据目前的阅读的资料以及与对这方面有一定了解的同学交流,由于雷达信号和语音信号仍有较大区别,因此基于LSTM网络获得的最终结果,不如时频变换、卡尔曼滤波器等方法所得出的精度高。
(1) 神经网络框架:全卷积神经网络和LSTM网络
(2) 测试集:论文作者通过将雷达安装在前保险杠上,摄像头安在车内实际测量的数据,一共有训练集共10.6万帧数据,时长2小时56分钟,测试集共5200帧,时长8分40秒
本篇论文主要是针对自主驾驶平台,重点研究了利用雷达张量进行目标检测。其中雷达张量即距离-多普勒-方位角,本文提出了一种模型处理三维张量,令雷达三维张量数据特征与图像特征相似,从而使用卷积神经网络进行训练。
本网络前部分是通过特征金字塔等经典的图像处理方法处理三维张量,将三维张量模型分成了3个二维特征提取特征金字塔,然后基于卷积神经网络进行特征提取,最终再讲提取后的特征输入LSTM网络中,避免了LSTM网络直接应用于毫米波雷达数据特征提取困难的问题。
网络研究六:基于无监督学习的深度跟踪
论文名称:《Unsupervised Deep Tracking》
方法概述:
(1) 神经网络框架:基于Siamese Network网络结构,子网络选用CNN网络;
(2) 训练方式:无监督学习和相关滤波;
(3) 训练集:ILSVRC 2015(大规模视觉识别竞赛所用数据集)
(4) 测试集:OTB2015(目前视觉目标跟踪领域主流的数据集,所有方法均会基于该数据集进行测试)、华为项目测试过程中记录的视频
创新点:
设计一种无监督学习的训练方式,利用未标记的数据或弱标记的数据进行模型训练;
缺陷:
训练数据json格式:
deepSORT:
deepSORT算法中获取的是目标检测框出的图片,对目标检测框中的图片做特征提取,然后再在帧间做帧间匹配。
方法概述:
(1) 运动信息特征向量: (基于卡尔曼滤波器等进行目标运动状态预测。)
(2) 目标的创建和移除:对每一个追踪目标,记录自其上一次检测结果与追踪结果匹配之后的帧数,对新目标出现的判断则是,如果某次检测结果中的某个目标始终无法与已经存在的追踪器进行关联,那么则认为可能出现了新目标。如果连续的N帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联,那么则确认是出现了新的运动目标。该部分分为三个状态:分别是1)tentative,可能出现新目标;2)confirmed,确认出现新目标;3)deleted,删除。
(3) 匹配方式:同时考虑运动信息关联和目标外观信息的关联。1)运动信息关联通过卡尔曼滤波器预测值和检测结果之间的马氏距离进行关联;2)外观信息关联通过卷积神经网络提取图像特征,然后采用级联匹配的方法,实现目标跟踪。
YOLO3+DeepSort代码研究:
目前,研究了两个目标跟踪代码框架,一个是上周研究的deepSort框架,该框架可以实现目标跟踪,但没有目标检测部分,因此该框架可以供后续研究使用,目标检测部分替换为后续研究所产生的雷达目标检测和视频目标检测网络框架,再修改deepSORT部分的目标跟踪网络结构。
另一个是YOLO3+DeepSort框架,该框架中包含了目标检测和目标跟踪两个模块,YOLO3可以用于目标检测,而DeepSORT用于目标跟踪,并且在之前记录的视频数据中进行了测试。目前,发现该工程的YOLO3神经网络框架仅对于行人进行了训练,对于视频中的运动车辆无法进行检测,后续需要重新训练该模型或重新下载合适的yolo3模型。