以下是b站视频 朱政讲解的内容笔记： https://www.bilibili.com/video/av33603018
相关滤波分支
mosse
kcf
c-cot
ECO
深度学习分支
DLT SODLT
MDnet
SIAM FC
CFnet
DCFnet
FOLWTRACK
SIAMRPN
DASIAMRPN
数据集
DAVIS 视频分割的数据集
VID 视频目标检测的数据集
YOUTUBE BOUNDINGBOX 稀疏标注的检测跟踪数据集
用于训练基于深度学习的数据集
OTB2013-2015
VOT2013-2018
ECC 2018年提出 常识跟踪数据集 TRACKINGNET OSUV
遇到的挑战
红色：无人机拍摄 数据集
黄色：高帧率 数据集
蓝色：全景 数据集
绿色：常识跟踪的数据集
FlowTrack cvpr2018
不像大部分只用RGB
本文用到帧与帧丰富的运动信息
之前有用的光流信息，但是不充分，没有端到端训练
缺点：
端到端光流相关算法with提高特征表示和跟踪精度
时间空间注意力机制
本文提出：
本文也属于siam网络
1 总图：
将t-T帧 到t-2帧 通过flownet 得到光流信息
t-T帧 到t-2帧 映射到t-1帧
t-1帧得到自己的feature
自己的 t-1 frame 的特征feature& 映射到的特征feature
通过 时间-空间注意力机制模块融合 得到φ（x）
t frame自己通过网络得到自己的特征φ（z）
φ（x）φ（z）送入相关滤波层cf层进行跟踪
高斯label监督
2 相关滤波跟踪
DCF目的就是通过正负样本得到系数f
f求解 可以转换为岭回归问题，频域求解，逆傅里叶变化频域变换倒时阈，降低计算复杂度
跟踪 φ（z）和f卷积得到最后的相应图R(z)
相应图最大点就是要跟踪的目标
为了将上述操作置于网络中，定义了loss函数,他是φ（z）φ（x）的函数
反向传播形式 ：就是对 φ（z）φ（x）分别求偏导
将反向传播形式 作为网络中的一个
3 光流信息的映射和融合
光流信息编码了2个输出图之间的信息。
因此我们用光流信息把i帧的信息映射到t-1帧。
某个channel的映射操作定义下式：
求解它的反向传播形式作为网络中的一个层
这样有了当前帧自己的feature也有了之前帧映射到当前帧的feaeture
有了同一物体不同的表征形式，不同的视角，不同的形变，光照。
然后通过融合的形式增强特征表示和跟踪精度，具体来说本文采用了加权融合的形式。
接下来要求解融合系数
4 通过 空间-时间注意力机制来 求解融合系数
首先是空间
空间注意力模块，解释了空间不同位置的权重，
余弦矩衡量特征之间相似度，然后通过SoftMax操作，得到空间attention的输出。
直观上来说如果我们认为映射特征和当前特征比较相似，就分配一个比较大的空间权重，否则分配一个比较小的权重。
存在问题：t-1帧自己跟自己余弦矩为1 ，最相似，权重最大。但是如果t-1自己这一帧质量不好，就会出现问题。
解决方法：添加一个时间注意力机制
再是时间注意力机制
上述空间，后面串联时间，时间帧上的特征进行重标定
采用了SEnet的网络
GLOBEL pooling , 几个FC ,得到T维向量,再与原来的输出相乘得到一个重标定的权重
下图发现，无遮挡权重高
部分遮挡权重小，验证时间注意力机制生效！
消融分析
no flow 无光流，baseline
fix flow 固定光流，不参与端到端训练
decay 时间空间注意力机制，衰减机制对特征融合
no_ta 只有空间注意力机制
FlowTr 完整
1 fix flow 表现不好还不如没有，原因的光流质量不够好，可能造成信号的波动
2 decay， no_ta, FlowTr 均有提升
3 融合帧数比较，发现6帧效果是最好的
将历史5帧映射到当前帧得到映射特征，当前帧自己特征，一共6帧
光流
上面是没有经过训练的光流，下面假如端到端训练
实验
右边是20像素precision
端到端 光流相关滤波跟踪框架
首个 光流+跟踪训练 放在一起