简单的网络摄像头鼠标

Question

对象：-如何使用可见光实现网络摄像头鼠标。

详情：- 将有一个网络摄像头在可见光下看到我的右手，如下所示 i.stack.imgur.com/6ztqf.jpg :-

我想创建一个系统，用我的（右手）控制鼠标指针，就像那里有一个实际的鼠标一样。我会把我的手放在桌子上，就像我手里有一只真正的老鼠一样，我会做我会做的所有动作，就好像我手里有一只老鼠一样。并且会有一个普通的网络摄像头（可能是良好的分辨率以提高准确性）从上方以特定角度观察我的手。

假设我有神奇的机器学习系统来做到这一点。 （我可以接受各种约束，例如始终固定相机位置，始终在有限的矩形中移动鼠标等...）

在训练阶段，在训练阶段，我会像往常一样使用我的实际鼠标并生成大量数据。数据将包含大量图像作为输入，鼠标位置、点击作为输出。我在所有事情上都很灵活，比如我可以添加两个麦克风来检测点击的声音以确保有点击。（但是实际鼠标的鼠标点击声音与我在桌子上敲击手指以模仿鼠标点击时的声音不同用我的隐形鼠标，但声音的存在将确保有点击。两个麦克风将确保它是左击或右击。）现在有了所有这些数据，我的系统将学习图像之间的关联我的手和鼠标动作。（在第一个版本中可能不太准确）。

在运行阶段我将移除鼠标并将手放在与有鼠标时相同的位置，并开始使用该系统将我的手图像转换为鼠标动作。我将在桌子的 2D 平面中移动我的手，并像右击/左击一样移动手指。我的系统应该实时拍摄图像，并在我在训练阶段收集的所有数据的帮助下转换鼠标动作中的图像。

请帮助我如何构建这个，我对计算机视觉和机器学习有一般的了解看到这个图像（我的网络摄像头会看到这些类型的图像）

Answer 1

不要尝试使用机器学习算法来学习图像和鼠标动作之间的关联。最好在训练图像中定义您手部的几个关键点（例如，您的手心或指尖）。比训练回归器在图像中搜索这样的关键点。解决类似任务的示例（搜索面部关键点，如眼睛或鼻尖）：http://danielnouri.org/notes/2014/12/17/using-convolutional-neural-nets-to-detect-facial-keypoints-tutorial/

您只需使用关键点对操作进行硬编码。例如“鼠标指针应位于与手心相同的位置”。

最后，您在“战斗模式”中使用经过训练的回归器 - 它可以识别图像中的关键点，并按照编码执行所需的操作。