CNN的面部表情识别数据准备答案

【问题标题】：Facial Expression Recognition Data Preparation for CNNCNN的面部表情识别数据准备
【发布时间】：2016-09-23 22:33:00
【问题描述】：

我对面部表情识别领域还很陌生，目前我正在通过深度学习特别是 CNN 对此进行研究。我对准备和/或预处理我的数据有一些疑问。

我已经分割了正面面部表情的视频（例如，一个人根据他/她的注释表达快乐情绪的 2-3 秒视频）。

注意：我的参与者展示的表情强度很低（不是夸张的表情/微表情）

一般问题：现在，我应该如何准备我的数据以使用 CNN 进行训练（我有点倾向于使用深度学习库 TensorFlow）？

问题 1：我读过一些基于深度学习的面部表情识别 (FER) 论文，这些论文建议采用该表情的峰值（很可能是单个图像）并将该图像用作一部分你的训练数据。我怎么知道表达式的峰值？我的依据是什么？如果我要拍摄一张照片，我的参与者所展示的微妙表情的一些重要框架不会丢失吗？

问题 2：或者在 OpenCV 中执行分段视频以检测（例如 Viola-Jones）、裁剪和保存每帧人脸并将这些图像用作我的训练数据的一部分及其适当的标签？我猜有些帧是多余的。但是，由于我们知道我们数据中的参与者表现出低强度的表情（微表情），因此面部的一些动作也可能很重要。

非常感谢任何可以回答的人，非常感谢！

【问题讨论】：

【解决方案1】：

正如@unique monkey 已经指出的那样，这通常是一个有监督的学习任务。如果您想提取一个独立的“峰值”点，我建议您扫描输入图像，并在每个序列中找到其参考点与受试者静息状态偏差最大的那个。

如果您没有得到静止状态，那么视频剪辑是如何裁剪的？例如，受试者是否被告知要做出并保持表情？剪辑涵盖了整个表达的哪一部分（之前、表达、之后）？取视频剪辑的一个或两个端点；绘制参考点从每一端的运动图，并寻找差异最大的帧，然后转向另一个端点。

【讨论】：

对，这就是我忘记提到的。我的数据包含自发的面部表情。起初，在整个会话中进行某项活动时正在记录一个主题。会话结束后，他/她被要求对整个活动进行注释，其中如果他/她认为视频中某个时间段内的特定表情例如快乐，他/她会将该时间段注释为快乐.这就是过程。视频是根据主题注释裁剪的，所以我认为是否由我来确定峰值可能是一种主观判断。谢谢
这意味着您确实在视频中处于静止状态，然后，受试者自己评估没有处于特定的情绪状态。在这种情况下，我的第一段适用。
说到你的后一点，是的，使用视频剪辑来表达整个情感会很有用。但是，我对该领域的理解表明，这对您的应用程序来说太过分了：一个具有代表性的“峰值”帧就足够了。
谢谢，我很开明:) 我还忘了提到，在 2-3 秒的视频剪辑中，发生了一些小动作，而不仅仅是特定表情的静止视频。这就是为什么我非常坚持不要只取一个具有代表性的“高峰”框架的原因。正因为如此，澄清一下，使用视频片段的整个片段来表达整个情感是可以的，对吧？
是的，没关系。请注意，这个时间序列为您的分类问题增加了一个维度。也许您可以通过用您的参考点向量替换视频来降低复杂性。也许你已经在这样做了。

【解决方案2】：

答案1：通常我们总是依靠人的感觉来决定哪个表情是表情的最高点（我想你可以区分微笑和大笑的区别）

答案2：如果你想得到一个好的结果，我建议你不要像这种方法那样对待数据如此粗鲁

【讨论】：

答案 1：你说得对，通过人类感知来识别表情是很容易的，但是，说一个特定的表情是（例如）根据我的判断感到高兴吗？如果对其他人来说不是呢？我怎么知道他/她是否表达了恐惧、愤怒等？ 答案 2：我实际上对此持中立态度，如果我的参与者表现出低强度的表情，你能解释为什么会这样吗？脸上的小动作不重要吗？
@Renz 你自己判断就行了，问题的关键在于机器学习模型能不能和你有同样的判断.....
很抱歉，但我仍然不相信手动选择表达式的特定峰值，因为它可能会影响我的理解。我认为如果你有一些论文这样做会有所帮助，所以我可以自信地争论这个问题。谢谢