多模块信息融合（）
信息融合：字面意思的整合。分为信息和融合两部分
信息：对于机器学习中的信息来看，包括1.数据集（图像，标签，GT），2.特征：经过神经网络而得到的特征，属于中间的信息。3.筛选器：最后的融合，包括输出的内容，损失函数的融合。
转自博客：多模态融合
多模态表示学习是指通过利用多模态之间的互补性，剔除模态间的冗余性，从而学习到更好的特征表示。主要包括两大研究方向：联合表示（Joint Representations）、协同表示（Coordinated Representations）、编解码。联合架构是将单模态投影到一个共享的子空间。以便能够融合多个模态的特征。协同融合是包括跨模态相似模型和典型类似分析，有点类似于通过语音做标签来对视频进行分类。编解码是用于将一个模态映射为另一个模态的中间层。下面一张图反映了各个研究领域使用上述三个方法的分布。
联合架构：多模态联合架构最简单的方法就是直接连接，也就是加法
协同架构：
编解码器表示：
每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。
RGB-D的显著性检测分为两个部分，RGB层和D层的两部分是否可以称之为双模态呢？？？？应该是可以。