- 《MMSS: Multi-modal Sharable and Specific Feature Learning for RGB-D Object Recognition》
ICCV2015, Anran Wang, Jianfei Cai et al. MMSS
1. 摘要：
对于RGB-D目标识别，更多采用的方法是：
（1）RGB和D单独地学习特征
（2）简单的把RGB-D无差别的作为4通道的数据
（3）最后一层FC进行融合（concat或Eltwise）
都不能充分地利用不同模态间的关系
依据不同模态即含有共同的模式，也含有特定的模式的动机，作者提出了多模态的特征学习框架。
2. Multimodal Learning Structure
我们的目的是去学习一个新的特征表示T，包含两部分特性：
1）两个模态的共同特性
2）单独模态的特有特性
让T1和T2表示RGB和D单独模态学习到的特征，我们迫使T1和T2共享一部分共同的部分Tc，和特有模态的部分T1s和T2s。
训练流程：
测试阶段：
小结：
分析并学习共有的特征和独有的特征是一个比较新的话题