Human motion prediction research 人体运动预测研究

Temporal Attention + MHU

论文：【2018IJCAI】Long-Term Human Motion Prediction by Modeling Motion Context and
Enhancing Motion Dynamic
创新点1：MHU
创新点2：gram matrix loss

网络总体分为两部分：skeleton embedding layer 将骨骼轴角数据映射到嵌入空间，recurrent prediction layer产生预测姿势。
预测部分又分为两块，时间注意力提取模块和MHU
**时间注意力：**从全体骨骼特征以及隐藏状态中提取权重

**MHU更新：**理解vt类似于LSTM中的隐藏状态ht，删掉了细胞状态ct

借鉴：时间注意力提取模块，可广泛用于姿势解码器中。

gram matrix loss：

loss解决的问题：传统的均方误差MSE将预测姿势限制于平均姿势之中， 并且将帧独立看待，会导致预测运动的不连续。提出的方法同时考虑了骨骼间联系和相邻帧联系。其中，concat操作反应了相邻帧联系；把向量乘起来变成矩阵，可以反应不同身体部位的关联。