最近在关注手势识别方面的论文。

Rachel HUANG, Carisa HARRIS-ADAMSON, Dan ODELL, David REMPEL. Design of finger gestures for locomotion in virtual reality. Virtual Reality & Intelligent Hardware, 2019, 1(1): 1—9 DOI: 10.3724/SP.J.2096-5796.2018.0007
一、背景:手势设备很难在佩戴HMD头部设备(眼睛被遮时)使用。

二、本文主要方法:利用深度相机追踪手指指尖位置,将手势转换为VR游戏中的运动。

三、结果:20个测试者,其中5人因3D眩晕未完成测试

四、结论:在虚拟仪器中,细小的手指运动可以用来控制虚拟世界中的速度。用于将指尖位置转换为运动速度的函数会影响可用性和性能。

具体过程如下:

1.设备

Design of finger gestures for locomotion in virtual reality --虚拟现实中手指运动手势的设计

测试者都穿短袖坐着,他们戴着一副VE耳机(Oculus Rift, DK2, Menlo Park, CA),并与PC相连。在HMD的前端安装了一个深度感应相机(Leap Motion, San Francisco, CA),向下倾斜13.4度,这样它就可以从上面看到手,从而跟踪指尖的位置(图1)。

2. 虚拟环境任务

Design of finger gestures for locomotion in virtual reality --虚拟现实中手指运动手势的设计

在虚拟现实中,受试者看到一条延伸到无穷大的道路(图2)。在他们前面的道路上有一个目标球——球的远近边缘在道路上用两条白线标出。他们的任务是尽可能快地移动自己(红条),向前移动,并在两条白线之间停下来。在目标成功停车后,一个新的目标出现在远处的道路上。图形和任务是在Unity中设计的,参与者可以通过移动头部来观察周围的环境,但他们只能沿着道路向前或向后移动。

停车点分为3类:3米,15米,27米。每次测试中包含30个停车点,后24个随机出现上述3类停车点,每类8个。且目标尺寸1米或2米。

Design of finger gestures for locomotion in virtual reality --虚拟现实中手指运动手势的设计

手势从左到右依次为:向后;停止;向前

若指尖位置在零位置静止区(zc)内,则无运动。当指尖向前伸出至静止区以外时,被试运动速度(红色条)随指尖距离线性增加。当手指向另一个方向移动,朝向手掌,并移动到静止区之外,受试者(红条)向后移动。

3.手势参数

深度相机用于测量参与者右手食指远端到手掌中心的距离(使用Leap Motion api)。该数值以毫米为单位,按比例增加了2.74倍,以减少手指震颤带来的噪音。

(1)β--beta coefficient

β表示斜率系数= 速度/γ;

γ表示食指指尖到静止区边界的距离

向前运动:γ=(position×2.74)−(zc+dzw) 

向后运动: γ=(zc−dzw)−(position×2.74) 

其中:dzw 为静止区宽度: 10mm、25mm、40mm;zc为零中心距离值

测试的三个β值为: 12mm/s, 21mm/s, and 30mm/s

(2)静止区--dead zone

在实验开始时,当参与者把他们的手放在一个放松的,轻轻弯曲的,舒适的手指位置时,就确定了一个零静止的位置。

Design of finger gestures for locomotion in virtual reality --虚拟现实中手指运动手势的设计

静止区尺寸:dtw = 10mm、25mm和40mm

(3)α--exponent

velocity=(β×γ)^α

当一个参数发生改变时,其他参数固定在他们的中间值,例如,β=21 m / s, dtw =25mm,α=1.0.但是该研究并不是一个完全因子设计。三个参数的测试顺序依次为系数、静止区宽度、指数α。每个受试者在一个参数内测试三个水平的顺序是随机的。对于每个参数水平,受试者完成一个大目标(2m)的试验(30个目标)和一个小目标(1m)的试验(30个目标)。这三个参数之间的测试顺序不是随机的,因为先学习贝塔系数,然后学习静止区,最后学习指数更容易。

α = 0.5 、1.0 、1.7

试验时间为完成试验30个指标中的最后24个指标的时间;前6个目标被忽略,被认为是热身。在完成所有6个参数(3个级别和2个目标大小)的试验后,参与者删除HMD。

对于每个参数,使用重复测量方差分析比较不同水平的完成时间差异,并对小目标和大目标进行分层。

4.结果

15个测试者中,7个女性,一个左撇子,年龄18-25

Design of finger gestures for locomotion in virtual reality --虚拟现实中手指运动手势的设计

Design of finger gestures for locomotion in virtual reality --虚拟现实中手指运动手势的设计Design of finger gestures for locomotion in virtual reality --虚拟现实中手指运动手势的设计Design of finger gestures for locomotion in virtual reality --虚拟现实中手指运动手势的设计Design of finger gestures for locomotion in virtual reality --虚拟现实中手指运动手势的设计Design of finger gestures for locomotion in virtual reality --虚拟现实中手指运动手势的设计

5.讨论

静止区的设立对于实验影响不大。测试者更倾向于大一点的静止区宽度。

最优β可能改变在虚拟现实环境中用户体验。小β(7 m / s)与小目标的最佳性能大小(1米)和短期目标(3 m和9米)之间的距离,而中期和大型β(14米/秒和21 m / s)导致更大的目标之间的距离的最佳性能(15米)和大型目标大小(2米)。

α指数为1.0时,当手移动到死区之外时,会有一个突然的向前移动,但指数为1.4或2.0时,过渡更平稳。然而,2.0的高速指数很容易发生,并与失控有关。

6.缺点及未来方向

(1)深度相机并不总是能够跟踪指尖

(2)参与者相对年轻,自我选择,乐于尝试新技术。这项研究的结果对于老年人群可能有所不同。

(3)参数的数值跨越略大,如α,可以在1.0-1.7之间多做实验

(4)受试者的手的大小没有测量,手的大小可能影响了对不同参数的反应。

(5)本实验只评估沿直线前进或后退的运动。如果运动方向由头部位置决定,前进速度由手指姿态决定,那么对三维空间运动的控制将更加复杂,研究结果可能会有所不同。虽然很少有研究使用手势来评估速度控制,但这是一个重要的应用,因为其他研究发现,在VR环境中,速度控制的运动往往是一种更好的移动方式。

(7)将前向后速度控制与基于头部姿态的运动方向控制相结合,对今后的研究具有一定的指导意义。

相关文章: