这篇文章的思想跟Multilinear Autoencoder for 3D Face Model Learning
本质上是完全一样的。将人脸重建看成是一个线性问题,然后求解线性系数和特征向量。而且训练方法也是一样的。分三步:1、预训练encoder;2、预训练decoder;3、训练整个模型。
两篇文章的区别是:该论文用的是3DMM的理论,而上面我提到的那篇用的是高阶SVD张量分解理论。

我们来看看模型结构:
3D【11】人脸重建:Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition

其中CRes 就是3DMM中的29维表情系数,CId 则是199维的身份系数。ΔSRes 是表情系数×表情特征向量重构出来的一个人脸。ΔSId 是身份系数×身份特征向量重构出来的一个人脸。两个人脸再加上平均人脸就是最终的3D人脸。

我们再来看看Decoder的网络结构:
3D【11】人脸重建:Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition

就是一个线性乘法。

相关文章: