多模态特征融合方法学习

一、 图卷积做视觉、语言特征融合

这篇文章的重点是做图像内物体和句子单词的细粒度对齐，图像中物体和句子单词被做成同维度的特征表示，假设每张图像被表示成$F=d*m$F=d∗m，取图像中$m$m个物体，每个被表示成$d$d维；每个句子被表示成$G=d*n$G=d∗n，保留n个单词，每个单词d维。
图卷积的使用关键在于邻接矩阵A怎么构造。这里采用的方法是利用以下变换：
$A = \begin{bmatrix} 0 & G^TF \\ F^TG & 0 \end{bmatrix}$A=[0FTG​GTF0​]
即将图像中每个物体、句中每个单词均视为图中的一个节点，通过矩阵相乘的方式使得图像表示和文本表示有交互，得到一个维度$n+m$n+m的对称邻接矩阵。

有了邻接矩阵A之后再继续求得节点度对角阵D。之后，图卷积中需要的两部分输入分别来自原始的图文特征拼接$H_0 = (m+n)*d$H0​=(m+n)∗d，以及矩阵$adj = D^{-0.5}AD^{-0.5}$adj=D−0.5AD−0.5。

MFB做视觉、文本特征融合

m维视觉特征和n维文本特征可以很容易地做以上双线性变换得到特征值$z_i$zi​，$W_i\in \reals ^{m*n}$Wi​∈Rm∗n，要得到$z\in\reals^o$z∈Ro的最终特征则需要o个权值矩阵$W_i$Wi​，即$W = [W_1,W_2,...,W_o]$W=[W1​,W2​,...,Wo​]，进一步矩阵分解，矩阵$W_i$Wi​可以由两个低秩矩阵$U_i\in \reals ^{m*k}$Ui​∈Rm∗k和$V_i\in \reals^{n*k}$Vi​∈Rn∗k来表示。微问题转化成要得到输出特征$z\in\reals^o$z∈Ro，需要学习到两个三阶的张量矩阵$U\in\reals^{m*k*o}$U∈Rm∗k∗o和$V\in\reals^{n*k*o}$V∈Rn∗k∗o，通过简单的reshape操作，不难将矩阵$U和V$U和V形式化成二维矩阵即$\bar{U}\in\reals^{m*ko}$Uˉ∈Rm∗ko,$\bar{V}\in\reals^{n*ko}$Vˉ∈Rn∗ko,那么视觉特征$x\in\reals^m$x∈Rm和文本特征$y\in\reals^{n}$y∈Rn经过以下式子的双线性变换，并作sumpooling得到最终的$z\in\reals^o$z∈Ro：
$z = SumPooling(\bar{U}^Tx\circ\bar{V}^Ty,k)$z=SumPooling(UˉTx∘VˉTy,k)
其中$\circ$∘是Hadmard product，即逐元素乘积。SumPooling使用大小为k的池化核，步长为k，做求和池化。
图示如下：