多任务学习框架,在保持人脸ID同时将任意姿态和光照人脸旋转到目标姿态,目标姿态可以人为控制。通过使用人造的控制姿态的图像,提取姿态及光照不变的特征,用于人脸识别,在MultiPIE数据库上比较。
论文通过训练一个DNN网络,将一幅人脸和一个表示目标姿态的二值编码作为输入,即Remote Code,生成目标姿态且具有相同身份的人脸图像。这个人脸旋转器可以认为是一个黑盒子,旋转器的质量由输出图像与目标姿态的一致性、人脸身份的保存度衡量。示意图如下图所示:
下图显示了模型的输出结果:
为提升DNN人脸身份保持的能力,增加了一个额外的任务,用于重建原始输入图像。辅任务冲击输入图像,主任务的输出就应该是身份保持的,并且包含所输入人脸足够的信息。不同于其他多任务学习框架,论文的辅任务共享主任务的所有曾,在主任务后连接辅助任务。多任务的结构如下图所示:
网络不同层特征空间的分布: