Hand Pose Datasets

本篇文章记录整理了目前存在的手势关键点识别 数据集，包括2D和3D关键点数据。

1. CMU hand keypoints detection dataset

      第一个要说的自然是最出名的openpose，它不光实现了人脸、身体关键点的检测，同时也实现了手部关键点的检测，并提供了很多数据用于训练。

      网址：http://domedb.perception.cs.cmu.edu/handdb.html

      数据集①：Hands with Manual Keypoint Annotations (Training: 1912 annotations, Testing: 846 annotations，562M)

                 相关：input——单帧RGB   ；   output——[x, y, Visibility]、‘left hand’ or ‘right hand’    ；   真实图片

                 标签存储格式：一张图对应一个同名的.json文件  

                 示例：

     

      数据集②：Hands from Synthetic Data (6546 + 3243 + 2348 + 2124 = 14261 annotations，631M)

                  相关：input——单帧RGB   ；   output——[x, y, Visibility]、‘left hand’ or ‘right hand’    ；   人造图片

                  标签存储格式：一张图对应一个同名的.json文件
                  示例：

                                

                   

      数据集③：Hands from Panoptic Studio by Multiview Bootstrapping (14817 annotations，7.15G)

                  相关：input——单帧RGB   ；   output——[x, y, Visibility]、‘left hand’ or ‘right hand’    ；   多视角远景

                  标签存储格式：所有图片的标签存储在一个.json文件中

                  参考文献：Hand Keypoint Detection in Single Images using Multiview Bootstrapping

                  网址：https://arxiv.org/abs/1704.07809

                  示例：

 

2.  Dexter+Object      (about 3000 annotations in total，1.17GB)

     这个数据集由视频中截取的数据组成，内容是手与一个物块的互动，包括抓取、旋转、平移等。

      网址：https://handtracker.mpi-inf.mpg.de/projects/RealtimeHO/dexter+object.htm

      文献：Real-time Joint Tracking of a Hand Manipulating an Object from RGB-D Input

      相关：input——RGB+D 、相机参数  ；   output——[x, y,]、[x, y, z]   ;   真实图片

      标签存储格式：一组动作对应一个txt文件

      示例：

 

3. Rendered Handpose Dataset   (41258 training and 2728 testing samples，6.59GB)

      这个数据集由游戏模拟场景中的截图组成，有丰富的前景和背景信息，并且提供了手和人的mask，同时可以完成segmentation的任务，唯一不足的是与现实场景存在一定差异，模型训练完毕在真实图像中准确率会有所下降。

      网址：https://lmb.informatik.uni-freiburg.de/resources/datasets/RenderedHandposeDataset.en.html

      文献： Learning to Estimate 3D Hand Pose from Single RGB Images

      Code：https://github.com/lmb-freiburg/hand3d

 

      相关：input——RGB+D+mask   ；   output——[x, y, z]   ;   人造图片

      标签存储格式：分为训练集和测试集，分别存储在一个.mat文件中

      示例：

        

        这个团队还提出了其他很多种类任务的数据集和代码，有兴趣的可以进入他们的网址进行浏览。

      

 

4. 其他还没细看的数据集：

     ① NYU Hand Pose Dataset（8252 test-set and 72757 training-set frames of captured RGBD data，92GB）

            网址：https://cims.nyu.edu/~tompson/NYU_Hand_Pose_Dataset.htm

       ② HANDS 2018 （ECCV workshop 2018）

        数据需要发邮件获取，由于这批数据貌似是点云的，我需要的是RGB的，所以还没有获取数据，如果有人了解相关信息欢迎交流。

            网址：https://sites.google.com/view/hands2018/home?authuser=0