论文主要介绍一种多人协作的视频事件识别的方法，使用attention模型+RNN网络，最近粗浅地学习了RNN网络，它比较适合用于处理序列的存在上下文作用的数据。
NCAA Basketball数据集
这个数据集是作者新构建的，一个事件4秒长度，在论文中共需识别11个事件。而且从训练集子集通过标注人物的bounding box学习了一个multibox detector，来识别所有帧中的人物bounding box。
RNN模型
论文使用了RNN模型中的LSTM来处理帧序列。网络的结构如下图，其中BLSTM代表双向的LSTM结构
每个Pi-BLSTM跟踪每个人物帧序列中的状态，方框的厚度代表attention作为key人物的权值。
首先，每一帧提取1024维度的特征，而对于每帧的每一个player，提取2805维特征（1440维位置spatial的信息以及1365维appearance信息）
。首先使用BLSTM计算hidden state
，它保存了全局上下文的信息。计算式子如下
然后可以利用单向的LSTM计算事件状态
最后，对于每个事件k，都定义一个权向量，计算它们的内积
来确定事件的分类。误差函数可以定义：
其中是对于视频原label，如果属于k则为1，否则为-1。
Attention 模型
Attention模型的主要作用在于识别主人物并增大他在计算event state中所起的作用，在这里会利用一个softmax函数来实现上述的功能。论文提出了两种思路，分别是对每个人物进行跟踪的模型以及不跟踪的模型。
跟踪模型
利用KTL tracker和图匹配找到每帧对应的人物，并为每个人物建立一个BLSTM网络，用于计算hidden state ，得
。计算softmax函数分配每个人物在每一帧的权重，从而识别关键人物，如下计算
其中是一个多层感知机。
非跟踪模型
直接使用替代
，可以得到计算方法为