3D【5】人脸重建:Learning the Multilinear Structure of Visual Data阅读笔记

该论文主要内容是使用张量分解来表征一个3D人脸，如下公式：

其中B(1)$B_{(1)}$ 是通过大量数据学习出来的，而A(m)$A^{(m)}$ 则是重构出 X$X$ 的系数，⊙$\odot$ 是克罗内克积。

克罗内克积：一个3×1的向量和一个4×1的向量进行克罗内克积，会得到12×1的向量。具体的可参考wiki。

每个A(m)$A^{(m)}$ 可以表示不同的大分类，比如光照，表情等。论文中的一个例子：

L,E,C$L,E,C$ 分别表示光照，表情和身份。

通过优化下面的损失函数，可以学习出B和A(m)$A^{(m)}$ 。

但由于上式中有B和A(m)$A^{(m)}$ 都雪要求解，会比较困难。论文使用了迭代最小二乘法，先固定A(m)$A^{(m)}$ 求B，然后固定B求A(m)$A^{(m)}$：

详细的求解过程可参考论文。

最近要用CNN来直接预测出mesh，而用CNN预测mesh的最大问题是网络的输出。看过的论文，一般是用两种方法：1、预测3DMM的系数；2、将mesh立方体化变成一个200×200×200（不一定是这个维度）。但这两个方法都有各自的不足，方法一：严重依赖PCA；方法二：生成的顶点格式不固定。刚好看到有一篇论文是利用该论文的思想，所以就阅读一下该论文。

经过大致的阅读后（没有详细看B和A(m)$A^{(m)}$求解过程），用CNN预测A(m)$A^{(m)}$，与用CNN预测3DMM的系数效果估计差不多。先记录一下，可能以后会尝试。