毫米波雷达网络研究五:孪生网络(Siamese Network)

目标跟踪研究(二)
论文名称:《Vehicle Detection With Automotive Radar Using Deep Learning on Range-Azimuth-Doppler Tensors》
  LSTM网络(长短记忆网络)适合毫米波雷达原始数据的神经网络模型,该网络主要运用于语音信号,考虑到雷达信号与语音信号有一定相似性。但根据目前的阅读的资料以及与对这方面有一定了解的同学交流,由于雷达信号和语音信号仍有较大区别,因此基于LSTM网络获得的最终结果,不如时频变换、卡尔曼滤波器等方法所得出的精度高。
(1) 神经网络框架:全卷积神经网络和LSTM网络
(2) 测试集:论文作者通过将雷达安装在前保险杠上,摄像头安在车内实际测量的数据,一共有训练集共10.6万帧数据,时长2小时56分钟,测试集共5200帧,时长8分40秒
  本篇论文主要是针对自主驾驶平台,重点研究了利用雷达张量进行目标检测。其中雷达张量即距离-多普勒-方位角,本文提出了一种模型处理三维张量,令雷达三维张量数据特征与图像特征相似,从而使用卷积神经网络进行训练。
  本网络前部分是通过特征金字塔等经典的图像处理方法处理三维张量,将三维张量模型分成了3个二维特征提取特征金字塔,然后基于卷积神经网络进行特征提取,最终再讲提取后的特征输入LSTM网络中,避免了LSTM网络直接应用于毫米波雷达数据特征提取困难的问题。

网络研究六:基于无监督学习的深度跟踪

论文名称:《Unsupervised Deep Tracking》
方法概述
(1) 神经网络框架:基于Siamese Network网络结构,子网络选用CNN网络;
(2) 训练方式:无监督学习和相关滤波;
(3) 训练集:ILSVRC 2015(大规模视觉识别竞赛所用数据集)
(4) 测试集:OTB2015(目前视觉目标跟踪领域主流的数据集,所有方法均会基于该数据集进行测试)、华为项目测试过程中记录的视频

创新点:
设计一种无监督学习的训练方式,利用未标记的数据或弱标记的数据进行模型训练;
缺陷:
训练数据json格式:

目标跟踪研究(二)
测试数据json格式:
目标跟踪研究(二)
# 网络研究七:DeepSORT 论文名称:《Unsupervised Deep Tracking》 **YOLO_V3**: 近年来的视频目标跟踪算法均是依赖于tracking-by-detection的方式,即通过每帧均进行目标检测,帧间实现目标关联,因此自然需要目标检测和目标跟踪两个功能模块共同实现。 YOLO3是目前较为常用的目标检测网络,主要用于实时检测等场景中,在v1和v2两个版本上进行了改进。 **方法概述:**
目标跟踪研究(二)
该流程图引用地址:https://www.jianshu.com/p/d13ae1055302 (1) YOLO3采用了Darknet-53网络结构,这是一种类ResNet,含有53个卷积层,借鉴了ResNet网络结构的做法,在部分卷积层中设置了shortcut链路; (2) 改进了分类器和类别预测,舍弃了Softmax的**函数,将单标签多分类的softmax层换成多标签多分类的逻辑回归层,分类误差采用交叉熵损失函数(binary cross-entropy loss) (3) 提出了一种多尺度预测的方法,采用三个不同尺度的特征图进行对象检测,在不同的尺度上做检测,然后进行上采样统一到统一尺度下。

deepSORT
deepSORT算法中获取的是目标检测框出的图片,对目标检测框中的图片做特征提取,然后再在帧间做帧间匹配。
方法概述:
(1) 运动信息特征向量: (μ,ν,γ,h,x^,u^,γ^,h^),μ,ν,γ,h,u^,γ^,h^(\mu,\nu,\gamma,h,\widehat{x},\widehat{u},\widehat{\gamma},\widehat{h}),其中\mu,\nu,\gamma,h,代表检测框中心的横纵坐标,横纵比,高度,\widehat{u},\widehat{\gamma},\widehat{h}为图像中的对应速度。(基于卡尔曼滤波器等进行目标运动状态预测。)
(2) 目标的创建和移除:对每一个追踪目标,记录自其上一次检测结果与追踪结果匹配之后的帧数,对新目标出现的判断则是,如果某次检测结果中的某个目标始终无法与已经存在的追踪器进行关联,那么则认为可能出现了新目标。如果连续的N帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联,那么则确认是出现了新的运动目标。该部分分为三个状态:分别是1)tentative,可能出现新目标;2)confirmed,确认出现新目标;3)deleted,删除。
(3) 匹配方式:同时考虑运动信息关联和目标外观信息的关联。1)运动信息关联通过卡尔曼滤波器预测值和检测结果之间的马氏距离进行关联;2)外观信息关联通过卷积神经网络提取图像特征,然后采用级联匹配的方法,实现目标跟踪。
YOLO3+DeepSort代码研究
目前,研究了两个目标跟踪代码框架,一个是上周研究的deepSort框架,该框架可以实现目标跟踪,但没有目标检测部分,因此该框架可以供后续研究使用,目标检测部分替换为后续研究所产生的雷达目标检测和视频目标检测网络框架,再修改deepSORT部分的目标跟踪网络结构。
另一个是YOLO3+DeepSort框架,该框架中包含了目标检测和目标跟踪两个模块,YOLO3可以用于目标检测,而DeepSORT用于目标跟踪,并且在之前记录的视频数据中进行了测试。目前,发现该工程的YOLO3神经网络框架仅对于行人进行了训练,对于视频中的运动车辆无法进行检测,后续需要重新训练该模型或重新下载合适的yolo3模型。

目标跟踪研究(二)

相关文章: