视频上的动态渲染有多难？

Question

我想制作一个应用程序，它接受视频输入（例如，使用您的网络摄像头），并根据其内容动态地在其上渲染一些有趣的东西。例如，我会在视频中检测用户的脸并改变他/她的嘴唇颜色。可能我可以要求用户使用一些带有一些控制器旋钮的闭合曲线来指定他/她的嘴唇的轮廓，并跟踪其在实时视频流中的变化，然后在其上渲染一些颜色。这有多难？理想情况下，它会演变成更大的东西，让你可以做更多依赖于内容的特殊效果，就像电影中看到的那样，但现在我只想制作一个玩具应用程序，它可以修改带有人脸的实时视频流。我相信这种工具已经在专业视频软件中得到了很好的开发，但我想要一些有趣且可在普通计算机上运行的东西，甚至可能是带有面向用户的摄像头的手机（iphone、android 等）。

虽然我是一名程序员，但我没有任何处理视频的经验，我正在阅读一些关于 OpenCV 库的内容，看起来这是一个好的开始。但我不确定这是否可行。还有什么可以帮助完成这项任务的吗？

非常感谢。

Answer 1

95% 的艰苦工作已经完成。剩下的 5% 由您决定。

http://opencv.willowgarage.com/wiki/FaceDetection

网上有很多使用 OpenCV 进行人脸识别的示例。

处理视频可能对您的 CPU 要求很高。请记住，您的算法必须以每秒 25~30 帧的速度执行，才能获得“实时”效果。

Answer 2

OpenCV 确实是最好的起点。我会查看示例文件夹中的 lkdemo.c 文件，以简要介绍如何在实时视频之上绘制内容。它不到 200 行 c 代码，将向您展示如何读取网络摄像头或视频文件、接受键盘和鼠标输入、跟踪视频中的特征点并在其上动态绘制简单的形状。

如果您从那里开始，您可能会在一个小时内开始尝试自己的想法，具体取决于您的先前知识。