1概述
随着计算机视觉的迅速发展以及人脸识别技术的成熟, 人脸颜值测定受到越来越多的关注和研究。但话说回来，即使人工来测定，大家也口味各异，御姐萝莉各有所爱。计算机又岂能判断美丑呢？实际上科学家研究过人脸的美丽程度，并一直在开发相对应的”颜值算法”。人脸的美丽吸引力可以通过对人脸图像进行定量化的特征分析和特征表达,通过采取合适的机器学习算法,使得机器可对人脸美丽吸引力这个概念进行学习而得到可量化的描述。受到[1]心理学“平均脸假说”的启发,提出了一种利用计算机图像处理技术实现平均脸合成的方法:该方法综合考虑了人脸的形状特征和纹理特征的平均,采用AAM(Active Appearance Model)算法检测人脸特征点,利用Delaunay三角剖分算法将人脸图像划分为多个不同的区域,在基于广义Procrustes分析(Generalized Procrustes Analysis, GPA)方法进行对准后的图像上根据Delaunay三角网所建立的映射关系,对相应的人脸子区域进行分段仿射变换,再对各图像进行加权平均,最终得到一张合成人脸图像。
实验结果表明,该方法简单可行,合成的人脸图像看上去美观自然,五官匀称,比例协调,轮廓形状及肤色美观,合成所得到的图像经过吸引力打分都能获得平均水平以上的美观程度,验证了心理学的平均脸假说。大概就是“丑人多作怪，美人一个胚”的感觉吧。而正是这种“美人一个胚”的现象让颜值算法有了可行性。由此各大公司在此算法上开发了相对应的应用软件如:
同一张图在不同应用中的测定
不同的人脸在同一应用中测定(百度AI为例)
市场调研
由于颜值测定是一项模块的应用与市场上如无人驾驶、图像识别技术不同，更多作为各大软件体系上的加强功能，一般普遍应用于类似相机、P图功能中娱乐模块应用，市场刚需性低，时效性、传播性强。
成熟度分析:
(1)市场主流颜值打分软件:
1.旷视科技2.腾讯AI开放平台3.百度AI体验中心4.颜值相机
(2)不同年龄不同肤色在颜值打分系统中评分测试(例旷视科技，列出部分测试):
特点:1.10次人脸评分女性给出分数、男性给出分数并不能准确识别性别
2.不同肤色给出分数无明显差异
3.7张图片评分分布在50-60分左右，1张在40分，1张在70分以上
4.将图片导入其他软件测试分数结果对比
软件/图片 1.jpg 2.jpg 3.jpg 4.jpg 5.jpg 6.jpg 7.jpg 8.jpg 9.jpg
旷视科技 79 55 62 67 69 56 45 61 48
腾讯AI 82 72 73 75 87 72 61 60 检测失败
百度AI 68 32 57 60 52 51 20 36 17
(1)评分标准不同总体趋势相同识别模型、算法可能类似
(2)检测效果一般部分软件识别bug多，软件不成熟
(3)产品应用类似差异化不大
(4)产品面世时间较早，但仍在不断改进
成熟度 竞争对手 受众 产品使用频率
75% 腾讯、百度、旷视科技、其他 15-30岁男女 低频非刚需，时效性与传播性强
2.研究现状
[2]多特征融合的人脸颜值预测
什么是多特征融合的人脸颜值呢?
基于人脸颜值特征我们把人脸颜值分为几何特征与表观特征，几何特征包括人脸关键特征点位置、关键位置距离信息以及人脸各器官面积比例;表观特征包括LBP纹理特征。将这两种特征进行串联得到融合特征。
人脸颜值测定的最新方法可以分为两个部分，即人脸特征测定与融合、人脸颜值测评
图像预处理阶段
人脸图像收集时质量不同且伴有噪声，明暗灰度也差异较大，对图像进行预处理直接影响后续对人脸特征的提取与计算。图像预处理分为三步图像处理包括灰度化处理、位置检测以及倾斜校正处理。
1.将图像进行灰度化处理
2.利用Haar分类器截取人脸的大致区域
利用ASM算法[3]标记出人脸的 68个点，这 68个点描述了人脸的主要器官，代表了整个人脸的形状用(,)表示某个特征点,取(, )分别为左右眼的坐标，若纵坐标的差值大于一个像素值，表明人脸图像是倾斜的。人脸的倾斜角如式(1 )所示。根据倾斜角对图像进行反向旋转，得到正向的人脸图像。
2.1人脸特征测定部分
首先几何特征提取是基于ASM-68特征向量，什么是ASM-68特征向量呢?
ASM-68特征向量
根据ASM算法将68个人脸特征点的横纵坐标连接起来构成表征人脸几何特征关键点的特征向量但是由于原始图像角度问题会导致向量在计算过程中会出现误差，所以要对向量进行归一化处理包括(1)平移不变性(2)尺度不变性(3)旋转不变性
平移不变性:平移不变性是指平移前后的图像可以完全重合。
尺度不变性:将特征点进行正规化处理，把特征向量正规化为单位向量。经过尺度变换之后人脸数据库当中每一个人脸将会映射到人脸空间集合的一个值。
旋转不变性:对特征定义一个方向，然后在同一个方向上进行特征描述就可以实现旋转不变性。
人脸的几何特征提取:从两类几何特征提取18维人脸距离特征、面积特征
2.1.1 18维人脸距离特征
人到一定年龄以后，面部的器官位置信息将不再随着年龄的增长而变化( 手术或意外情况除外) ，理想的比例决定了人脸的美丽。根据 ASM - 68向量找出对应人脸上典型的18个距离特征，在表1中对18个距离特征进行了详细的描述。 将得到的 18 维几何距离特征作为几何特征的第二部分，如式所示
2.1.2 面积特征
由于18维人脸距离特征并没有突出人脸器官的大小、长度、面积等特征，根据 ASM定位的关键点找到表征各器官面积的三角形，如眼睛、鼻子、下巴、嘴等，将图 3 所示的54个面积作为几何特征另一种表现形式，称为三角形面积特征。 将得到的54个三角形面积特征归一化后作为几何特征的第三部分，如式所示。(3)
2.1.3表观特征分析
表观特征表征的是人脸的整体外貌和人脸的皮肤状况等信息。可以反映出如纹理信息、人脸皮肤的状态、颜色深浅面部信息等。表观特征则选择相当成熟的LBP特征。
什么是LBP特征?
简单来说，在图像的某个区域内，将中心像素点 的像素值作为阈值，相邻像素点与其进行对比，大于阈值标记为1，小于或等于则标记为0，在图4中展示了LBP的编码方法，产生8位二进制数，作为该领域中心像素点的 LBP 值。
(4)
对人脸图像进行 LBP 特征向量的提取，得到一个256维的特征向量，将该特征向量进行归一化得到人脸的表观特征，如式。
2.1.4人脸特征融合阶段
在前面进行了ASM－68特征向量的提取和归一化，几何特征中的距离及面积特征和表观 LBP 特征的提取，几何特征显示了人脸关键特征点信息、人脸各器官间的距离比例信息以及面积特征等，表观特征表征了人脸的全局特性。现在需要进行的是人脸特征融合，表观特征和几何特征的特征维度都不高，采用直接串联的方式进行特征融合。 上述融合特征可以表示为式和式所示。
2.2人脸颜值测定数据库
1.SCUT -FBP5500-Database-Release
地址:https://github.com/HCIILAB/SCUT-FBP5500-Database-Release
描述:SCUT-FBP5500数据集共有5500个正面，具有不同的属性（男性/女性，亚洲/高加索人，年龄）和不同的标签（面部标志，5个等级的美容分数，美容分数分布），允许不同的计算模型美容预测范例，例如亚洲/高加索男性/女性的基于外观/基于形状的面部美丽分类/回归/排名模型。
所有的图像被标记为美容得分从[1，5]到总共60个志愿者，并且86个面部标志也被定位到每个图像的显着面部成分。具体来说，我们将面部地标保存为’pts’格式，可以使用代码将其转换为’txt’格式（例如，pts2txt.py）。我们开发了几个基于Web的GUI系统，分别获得面部美容评分和面部标志位置。
2.SCUT-FBP500-Database
网址:http://www.hcii-lab.net/data/SCUT-FBP/EN/introduce.html
描述:一种新颖的具有吸引力评级的人脸数据集，即SCUT-FBP数据集（用于面部美容感知的数据集），被开发用于这项工作中的自动面部美容感知。该数据集为评估面部吸引力预测的不同方法的性能提供了一个基准，其中包括最先进的深度学习方法。SCUT-FBP数据集包含500个具有吸引力评级的不同亚洲女性受试者，所有这些都通过评分分布，标准差，一致性和自我一致性进行了验证。基于面部吸引力预测的基准评估使用面部几何特征，纹理特征和经典统计学习方法的不同组合以及深度学习方法来执行。
2.3人脸颜值评测标准
Pearson 相关系数
Pearson 相关系数即皮尔森相关系数( Pearson correlation coefficient) ，用来度量数据间是否存在线性关系，也表征了变量间线性关系的强弱。用图标的方式来展示就是判断两个数据集合是否在同一条直线上，可以通过计算两个数据集合之间的距离用来衡量两个数据集合的线性相关度。设 N 幅人脸图像的人工评 分值为{ x1，x2，…，xi，…，xN} ，利用本文的方法计算得到的分值为{ y1，y2，…，yi，…，yN } ，其中 xi 表示第 i 幅 图像的志愿者分类结果，yi 表示第 i 幅图像的人脸颜值预测结果。相关系数 r 计算公式如式,r 值越高，表示人工分类结果与本文方法预测结果越接近，该方法的性能就越好，反之，则越差。
相关文献
1)环球网. 英科学家绘制全球41个国家女性“平均脸”. 2013-9-23
中国知网:
1)东方女性人脸颜值量化算法研究 作者:韩晓旭 单位:西北大学
2)基于多特征融合的人脸颜值预测 作者:蒋婷；沈旭东；陆伟；袁政 单位:中国科技大学信息科技学院
3)基于深度神经网络的颜值计算研究 作者:陈良仁 单位:中国计量学院
4)毛慧芸.人脸美丽吸引力的特征分析与机器学习[D].华南理工大学，2011
5)王敏.人脸美丽分类算法研究.西安电子科技大学
百度学术调研:
1)王兵. 检测人脸颜值的方法、装置和移动终端:, CN106778627A[P]. 2017.
郑恩辉, 陈良仁, 富雅琼,等. 一种基于卷积神经网络的人脸图像颜值计算方法:, CN 104850825 A[P]. 2015.
google学术调研:
1)Predicting Facial Beauty without Landmarks Authors:Douglas Gray,Kai Yu,Wei Xu,Yihong Gong
2)A Humanlike Predictor of Facial Attractiveness Authors:Amit Kagian, Gideon Dror, Tommer Leyvand, Daniel Cohen-Or, Eytan Ruppin
3)基于AdaBoost算法的彩色图像人脸检测研究作者:孙士明、王爱国、纪友芳
万方数据:
1)深度自编码器用于人脸美丽吸引力预测的研究A Study of Facial Beauty Attractiveness Prediction Based on the Deep Autoencoder 作者:李远豪,甘俊英,LI Yuan-hao,GAN Jun-ying
2)Automatic analysis of facial attractiveness from video Authors:Kalayci, Selim Ekenel, Hazim Kemal Gunes, Hatice
3)A Bi-Prototype Theory of Facial Attractiveness Authors:
Fu Chang Chien-Hsing Chou
实验结果表明,该方法简单可行,合成的人脸图像看上去美观自然,五官匀称,比例协调,轮廓形状及肤色美观,合成所得到的图像经过吸引力打分都能获得平均水平以上的美观程度,验证了心理学的平均脸假说。大概就是“丑人多作怪，美人一个胚”的感觉吧。而正是这种“美人一个胚”的现象让颜值算法有了可行性。由此各大公司在此算法上开发了相对应的应用软件如:
同一张图在不同应用中的测定
不同的人脸在同一应用中测定(百度AI为例)
市场调研
由于颜值测定是一项模块的应用与市场上如无人驾驶、图像识别技术不同，更多作为各大软件体系上的加强功能，一般普遍应用于类似相机、P图功能中娱乐模块应用，市场刚需性低，时效性、传播性强。
成熟度分析:
(1)市场主流颜值打分软件:
1.旷视科技2.腾讯AI开放平台3.百度AI体验中心4.颜值相机
(2)不同年龄不同肤色在颜值打分系统中评分测试(例旷视科技，列出部分测试):
特点:1.10次人脸评分女性给出分数、男性给出分数并不能准确识别性别
2.不同肤色给出分数无明显差异
3.7张图片评分分布在50-60分左右，1张在40分，1张在70分以上
4.将图片导入其他软件测试分数结果对比
软件/图片 1.jpg 2.jpg 3.jpg 4.jpg 5.jpg 6.jpg 7.jpg 8.jpg 9.jpg
旷视科技 79 55 62 67 69 56 45 61 48
腾讯AI 82 72 73 75 87 72 61 60 检测失败
百度AI 68 32 57 60 52 51 20 36 17
(1)评分标准不同总体趋势相同识别模型、算法可能类似
(2)检测效果一般部分软件识别bug多，软件不成熟
(3)产品应用类似差异化不大
(4)产品面世时间较早，但仍在不断改进
成熟度 竞争对手 受众 产品使用频率
75% 腾讯、百度、旷视科技、其他 15-30岁男女 低频非刚需，时效性与传播性强
2.研究现状
[2]多特征融合的人脸颜值预测
什么是多特征融合的人脸颜值呢?
基于人脸颜值特征我们把人脸颜值分为几何特征与表观特征，几何特征包括人脸关键特征点位置、关键位置距离信息以及人脸各器官面积比例;表观特征包括LBP纹理特征。将这两种特征进行串联得到融合特征。
人脸颜值测定的最新方法可以分为两个部分，即人脸特征测定与融合、人脸颜值测评
图像预处理阶段
人脸图像收集时质量不同且伴有噪声，明暗灰度也差异较大，对图像进行预处理直接影响后续对人脸特征的提取与计算。图像预处理分为三步图像处理包括灰度化处理、位置检测以及倾斜校正处理。
1.将图像进行灰度化处理
2.利用Haar分类器截取人脸的大致区域
利用ASM算法[3]标记出人脸的 68个点，这 68个点描述了人脸的主要器官，代表了整个人脸的形状用(,)表示某个特征点,取(, )分别为左右眼的坐标，若纵坐标的差值大于一个像素值，表明人脸图像是倾斜的。人脸的倾斜角如式(1 )所示。根据倾斜角对图像进行反向旋转，得到正向的人脸图像。
2.1人脸特征测定部分
首先几何特征提取是基于ASM-68特征向量，什么是ASM-68特征向量呢?
ASM-68特征向量
根据ASM算法将68个人脸特征点的横纵坐标连接起来构成表征人脸几何特征关键点的特征向量但是由于原始图像角度问题会导致向量在计算过程中会出现误差，所以要对向量进行归一化处理包括(1)平移不变性(2)尺度不变性(3)旋转不变性
平移不变性:平移不变性是指平移前后的图像可以完全重合。
尺度不变性:将特征点进行正规化处理，把特征向量正规化为单位向量。经过尺度变换之后人脸数据库当中每一个人脸将会映射到人脸空间集合的一个值。
旋转不变性:对特征定义一个方向，然后在同一个方向上进行特征描述就可以实现旋转不变性。
人脸的几何特征提取:从两类几何特征提取18维人脸距离特征、面积特征
2.1.1 18维人脸距离特征
人到一定年龄以后，面部的器官位置信息将不再随着年龄的增长而变化( 手术或意外情况除外) ，理想的比例决定了人脸的美丽。根据 ASM - 68向量找出对应人脸上典型的18个距离特征，在表1中对18个距离特征进行了详细的描述。 将得到的 18 维几何距离特征作为几何特征的第二部分，如式所示
2.1.2 面积特征
由于18维人脸距离特征并没有突出人脸器官的大小、长度、面积等特征，根据 ASM定位的关键点找到表征各器官面积的三角形，如眼睛、鼻子、下巴、嘴等，将图 3 所示的54个面积作为几何特征另一种表现形式，称为三角形面积特征。 将得到的54个三角形面积特征归一化后作为几何特征的第三部分，如式所示。(3)
2.1.3表观特征分析
表观特征表征的是人脸的整体外貌和人脸的皮肤状况等信息。可以反映出如纹理信息、人脸皮肤的状态、颜色深浅面部信息等。表观特征则选择相当成熟的LBP特征。
什么是LBP特征?
简单来说，在图像的某个区域内，将中心像素点 的像素值作为阈值，相邻像素点与其进行对比，大于阈值标记为1，小于或等于则标记为0，在图4中展示了LBP的编码方法，产生8位二进制数，作为该领域中心像素点的 LBP 值。
(4)
对人脸图像进行 LBP 特征向量的提取，得到一个256维的特征向量，将该特征向量进行归一化得到人脸的表观特征，如式。
2.1.4人脸特征融合阶段
在前面进行了ASM－68特征向量的提取和归一化，几何特征中的距离及面积特征和表观 LBP 特征的提取，几何特征显示了人脸关键特征点信息、人脸各器官间的距离比例信息以及面积特征等，表观特征表征了人脸的全局特性。现在需要进行的是人脸特征融合，表观特征和几何特征的特征维度都不高，采用直接串联的方式进行特征融合。 上述融合特征可以表示为式和式所示。
2.2人脸颜值测定数据库
1.SCUT -FBP5500-Database-Release
地址:https://github.com/HCIILAB/SCUT-FBP5500-Database-Release
描述:SCUT-FBP5500数据集共有5500个正面，具有不同的属性（男性/女性，亚洲/高加索人，年龄）和不同的标签（面部标志，5个等级的美容分数，美容分数分布），允许不同的计算模型美容预测范例，例如亚洲/高加索男性/女性的基于外观/基于形状的面部美丽分类/回归/排名模型。
所有的图像被标记为美容得分从[1，5]到总共60个志愿者，并且86个面部标志也被定位到每个图像的显着面部成分。具体来说，我们将面部地标保存为’pts’格式，可以使用代码将其转换为’txt’格式（例如，pts2txt.py）。我们开发了几个基于Web的GUI系统，分别获得面部美容评分和面部标志位置。
2.SCUT-FBP500-Database
网址:http://www.hcii-lab.net/data/SCUT-FBP/EN/introduce.html
描述:一种新颖的具有吸引力评级的人脸数据集，即SCUT-FBP数据集（用于面部美容感知的数据集），被开发用于这项工作中的自动面部美容感知。该数据集为评估面部吸引力预测的不同方法的性能提供了一个基准，其中包括最先进的深度学习方法。SCUT-FBP数据集包含500个具有吸引力评级的不同亚洲女性受试者，所有这些都通过评分分布，标准差，一致性和自我一致性进行了验证。基于面部吸引力预测的基准评估使用面部几何特征，纹理特征和经典统计学习方法的不同组合以及深度学习方法来执行。
2.3人脸颜值评测标准
Pearson 相关系数
Pearson 相关系数即皮尔森相关系数( Pearson correlation coefficient) ，用来度量数据间是否存在线性关系，也表征了变量间线性关系的强弱。用图标的方式来展示就是判断两个数据集合是否在同一条直线上，可以通过计算两个数据集合之间的距离用来衡量两个数据集合的线性相关度。设 N 幅人脸图像的人工评 分值为{ x1，x2，…，xi，…，xN} ，利用本文的方法计算得到的分值为{ y1，y2，…，yi，…，yN } ，其中 xi 表示第 i 幅 图像的志愿者分类结果，yi 表示第 i 幅图像的人脸颜值预测结果。相关系数 r 计算公式如式,r 值越高，表示人工分类结果与本文方法预测结果越接近，该方法的性能就越好，反之，则越差。
相关文献
1)环球网. 英科学家绘制全球41个国家女性“平均脸”. 2013-9-23
中国知网:
1)东方女性人脸颜值量化算法研究 作者:韩晓旭 单位:西北大学
2)基于多特征融合的人脸颜值预测 作者:蒋婷；沈旭东；陆伟；袁政 单位:中国科技大学信息科技学院
3)基于深度神经网络的颜值计算研究 作者:陈良仁 单位:中国计量学院
4)毛慧芸.人脸美丽吸引力的特征分析与机器学习[D].华南理工大学，2011
5)王敏.人脸美丽分类算法研究.西安电子科技大学
百度学术调研:
1)王兵. 检测人脸颜值的方法、装置和移动终端:, CN106778627A[P]. 2017.
郑恩辉, 陈良仁, 富雅琼,等. 一种基于卷积神经网络的人脸图像颜值计算方法:, CN 104850825 A[P]. 2015.
google学术调研:
1)Predicting Facial Beauty without Landmarks Authors:Douglas Gray,Kai Yu,Wei Xu,Yihong Gong
2)A Humanlike Predictor of Facial Attractiveness Authors:Amit Kagian, Gideon Dror, Tommer Leyvand, Daniel Cohen-Or, Eytan Ruppin
3)基于AdaBoost算法的彩色图像人脸检测研究作者:孙士明、王爱国、纪友芳
万方数据:
1)深度自编码器用于人脸美丽吸引力预测的研究A Study of Facial Beauty Attractiveness Prediction Based on the Deep Autoencoder 作者:李远豪,甘俊英,LI Yuan-hao,GAN Jun-ying
2)Automatic analysis of facial attractiveness from video Authors:Kalayci, Selim Ekenel, Hazim Kemal Gunes, Hatice
3)A Bi-Prototype Theory of Facial Attractiveness Authors:
Fu Chang Chien-Hsing Chou