Learning Cross-Modality Representations From Multi-Modal Images
机器学习算法可以适应来自不同来源的数据，例如来自不同成像方式的数据。我们使用共享的类似自动编码器的卷积网络从多模态数据中学习通用表示形式，介绍并分析了三种用于无监督跨模态特征学习的技术。我们研究了一种特征归一化的形式，一种将跨模式差异最小化的学习目标以及模态辍学的情况，其中使用各种模式子集来训练网络。我们测量同模态和跨模态的分类精度，并探索模型是否学习模态专用或共享特征。
方法
总结
用自动编码器将多模图像降维并投影到一个虚拟空间。