-
文中提出很多场景使用deeplearning的方式还没有传统的sift的效果好
-
本文主要是解决两种场景：1：无纹理。2:重复纹理
也是一个end-to-end的直接回归得到6dof pose的文章，只不过不仅仅使用了CNN。文章是CNN+LSTM的方式。
仍然使用pose 误差：
整体网路框架：
使用预训练的网络googlenet，同posenet一样最后的fc层输出的是2048维度的global feature。文章指出2048维度的feature可以表达的数据相当大，这样的话很有可能在posenet中造成overfiting
当然解决方法可以直接使用fc压缩特征，posenet中使用dropout的方式防止过拟合但是文章指出使用一个lstm的方式压缩feature更加有效
2.2. Structured feature correlation with LSTMs
在fc之后使用了4个lstm单元
直接将2048的feature送入lstm单元作用不大，直观上可以这样解释：由于2048的feature长度太大导致可能记忆单元无法记录first->end时间的feature。
那么如何解决呢：首先将2048的feature转换成32 × 64 的矩阵，然后使用4个lstm的模版在四个方向上进行卷积操作，生成4个128维的featue，然后fc直接回归得pose（使用lstm模拟降维的过程）
一个效果图：
文中还发布了一个室内大型数据集，包括pose+rbg的图片（从360 degree的全景中解出来的）