最近刷到CVPR和ICCV近两年来在关键点方面的论文,简单总结下,主要是想选一些在移动端能部署的网络结构。最近两年的关键点论文主要用一些主流的方法去做的,比如用教师模型去筛选检测之后的关键点(知识蒸馏),用风格转移的方式去合成人脸(风格迁移),还有用光流利用帧与帧之间的信息去模糊的(去模糊)。对比之后发现这些网络都比较复杂,不适合移动端。但是18年SAN用聚类的方式选出风格,然后用GAN合成人脸(cycleGAN),但是训练阶段比较简单,用的网络就是VGG合成多尺度信息,NME测试仅次于PFLD,作者也公布了代码(pytouch),所以可以考虑在移动端部署。
 

4、FAB: A Robust Facial Landmark Detection Framework for Motion-Blurred Videos

 
论文主要思想是先对图片去模糊,然后进行关键点检测。视频图片去模糊是利用帧间信息实现去模糊。
人脸方向学习(二十一):Face Landmark Detection-FAB-解读

 

下图是论文主要结构:

先取出视频的当前两帧图片Et-1 and Et-2, 沙漏网络H预测这两帧的边界光流信息,Warping block W 根据光流F将前两帧信息卷绕成当前帧的边界图,然后将边界图与It-2, It-1, It 拼接输入Boundary-aware Deblur Network,边界感知去模糊网络输出人脸图像St,取出它作为关键点检测网络的输入,进行人脸关键点检测,这个检测网络通过插值到人脸边缘,并且提供人脸结构信息到下一个沙漏网络,所以网络准确率度会越来越高。

人脸方向学习(二十一):Face Landmark Detection-FAB-解读

相关文章:

  • 2021-10-11
  • 2021-12-06
  • 2021-12-26
  • 2021-12-05
  • 2021-10-21
  • 2021-04-28
  • 2021-07-27
  • 2021-11-17
猜你喜欢
  • 2021-09-17
  • 2021-07-02
  • 2021-11-21
  • 2021-07-19
  • 2021-07-01
  • 2022-12-23
  • 2021-11-18
相关资源
相似解决方案