【问题标题】:Building HMM for Kinect based gesture recognition为基于 Kinect 的手势识别构建 HMM
【发布时间】:2013-04-06 21:51:13
【问题描述】:

我有一个概念问题。我正在创建一个使用 Kinect 进行手势识别的程序。我有一些按类别划分的手势数据(圆圈、滑动等)。现在我只分析一只手。我记录所有帧 (30fps)。

(*) 为了使我的数据离散且与位置无关,我计算了连续点之间的角度。

现在我想为每种手势类型创建hidden Markov models。

现在我需要为我的HMM 确定多个状态。怎么做?我想找到最长的手势(及时)。例如。我有 3 个手势,第一个 1,2s,第二个 1,4s 和第三个 1,5s。所以1,5s 是最长的。现在我想每 250 毫秒(一秒内 4 个样本)为每个帧应用 (*)。因为我最长的手势是1,5s 长,所以NumberOfStatesForHMM = 1500ms / 250ms = 6 states - 这应该是最优化的?

我不确定我应该如何为HMM 定义状态:/ 如果我上面的想法是正确的,那么当有(例如)6 个状态并且一个手势在1s 之后结束时如何计算转换概率,所以我分析 4 个状态(状态 4 到 5 和 5 到 6 的转换概率等于 0?)。

我阅读了THIS 论文,但我不太确定如何解决我的问题...

【问题讨论】:

    标签: c# algorithm kinect gesture-recognition hidden-markov-models


    【解决方案1】:

    我从事过一个类似的动态手势识别项目(尽管使用的是更简单的网络摄像头而不是 Kinect)。就我而言,我将手势分类为左、右、循环顺时针、循环逆时针......等。由于您将考虑连续点之间的角度,这将是您的观察序列。至于状态,您的状态和观察之间可能不一定总是存在逻辑关系。我正在使用 8 个手势。现在,对于每个输入模式,我有大约 12 个观察符号,但没有。每个类的状态是不同的。例如: 左:2 个州 右:3 个州 顺时针旋转:4 个州等

    优点是从我从维特比算法得到的状态序列输出中,我可以直接得到最大的状态数,从而得到我的类。此外,在学习阶段,我的 Baum-Welch 实现会根据编号自动学习类。的州。您可以参考我的博客文章 [其中描述了我在项目中使用 HMM 识别手势的方法] 以获取更多信息。我希望它对你有帮助。

    Here is the Link

    【讨论】:

    • 感谢您的回答。我考虑过为每个 HMM 独立更改状态数,因为例如我的 Wave 手势有大约 15-20 次观察,但我的 Swipes 只有 5-8 次。因此,如果我必须选择最多 4 个状态,因为当我想为 LR 模型初始化 A(转换矩阵)时,我使用公式 a_ii = 1 - N/T 计算概率,其中 N 是多个状态,T是一个手势长度(所以当我选择一个大的N 值时,我得到对角线的概率小于 0,对角线 + 1 的概率大于 1。
    • 我已经实现了Forward-Backward Baum-Welch Learning 来估计矩阵和初始向量。它似乎工作得很糟糕。对于指定的 HMM(应该是这样),对于完全错误的情况,我得到 0 概率,但是当我用 3 个样本学习 HMM 并且后来我使用一个样本来评估概率时,我得到的可能性就像 3e-5。它应该大约是~1。我做错了什么,也许某处有错误,或者我需要更多数据来学习。我需要根据经验对其进行测试。
    • 顺便说一句。我现在在工作,所以我稍后会看看你的文章,但我现在可以看到它真的描述得很清楚:) Ppl 在他们的论文中写了你需要半天思考的东西。手势识别应该是愉快的,而不是与数学的战争......
    • 我完全同意 Nickon 的观点,研究论文很难理解(即使是经典的 Rabiner 论文 ;))。如果您的滑动有较少的符号,我建议您至少重复每个符号两次,使总计数达到 10-16。这在我的情况下有效[我的线性手势比弯曲滑动的观察要少得多]。至于您的测试数据,我建议尽可能多地获取样本。尝试执行每个手势十几次并学习此数据集。 HMM 在处理大型数据集时表现出色。
    • 我有一个问题,你能在 nick0n8@gmail.com 上 PM 我吗?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-01-10
    • 1970-01-01
    • 1970-01-01
    • 2011-08-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多