Kinect+OpenNI学习笔记之5(使用OpenNI自带的类进行简单手势识别)
前言
因为OpenNI可以获取到kinect的深度信息，而深度信息在手势识别中有很大用处，因此本文就来使用OpenNI自带的类来做简单的手势识别。识别的动作为4种，挥手，手移动，举手，往前推手。通过后面的实验可以发现，其实提供的类的效果非常不好。
开发环境：QtCreator2.5.1+OpenNI1.5.4.0+Qt4.8.2+OpenCV2.4.2
实验说明
跟手势相关的是GestureGenerator这个类，它的初始化过程和depth_metadata，image_metadata都一样，因此首先在上2篇文章的COpenNI类中增加一个public类对象GestureGenerator gesture_generator;为什么不放在private里呢？因为我们的COpenNI对象需要调用这个变量来设置手势获取的一些属性，比如手势识别的种类等，总之就是这个变量外部需要能够访问得到，因此这里我将其放在public里面。另外在COpenNI类的Init()函数中需要加入下面的代码：
status = gesture_generator.Create(context);
if(CheckError("Create gesture generator error!")) {
return false;
}
/*添加手势识别的种类*/
gesture_generator.AddGesture("Wave", NULL);
gesture_generator.AddGesture("click", NULL);
gesture_generator.AddGesture("RaiseHand", NULL);
gesture_generator.AddGesture("MovingHand", NULL);
OpenNI进行手势识别的方式是采用函数回调，即如果一个手势发生了或者正在发生时可以触发相应的回调函数，从而去执行回调函数，这有点类似于Qt中的信号与槽的关系。在OpenNI中设置回调函数的原型为：
XnStatus RegisterGestureCallbacks(GestureRecognized RecognizedCB, GestureProgress ProgressCB, void* pCookie, XnCallbackHandle& hCallback);
其中前2个参数为回调函数，第一个回调函数表示手部某个动作已经执行完毕，第二个参数表示收部某个动作正在执行；参数三为一个空指针，即可以指向任何数据类型的指针，其作用为给回调函数当额外的参数使用；参数四为回调函数的处理函数，用来记录和管理回调函数的。参数三在本实验中设置为NULL，参数四实际上本实验中也没有用到。
上面2个回调函数的名称可以自定义，但是这2个函数参数的个数和类型不能改变，这2个回调函数的参数个数都为5，但是其类型有些不同，具体的可以参考后面提供的代码。
由于在程序中添加了4种动作的捕捉，所以打算在检测到某个手势动作时，在窗口显示栏的图片上添加相应的手势动作文字提示。很明显，只有当手势检测到时才能在图片上添加文字，该部分在回调函数中实现。但是如果我们单独在回调函数中给图片添加相应的文字，然后在主程序中显示图片，则因为回调函数一结束完就回到了主函数的while循环中，而这时图片的内容已经更新了（即有文字的图片被重新覆盖了），因此人眼一瞬间看不到有文字提示的图片。最后个人的解决方法是用一个标志来表示检测到了某个手势动作，如果检测到了则显示存储下来的有文字的图片，反正，显示正常的图片。本程序提供的图片为深度图。
实验结果
举手的显示结果如下：
其实从本人的实验过程来看，大部分的手势动作都被检测为举手RaiseHand，少部分为挥手Wave，其它的基本上没出现过。说明OpenNI自带的手势识别类的功能不是很强。
实验主要部分代码及注释（附录有实验工程code下载链接）：
copenni.cpp:
#include <XnCppWrapper.h>
#include <QtGui/QtGui>
#include <iostream>
using namespace xn;
using namespace std;
class COpenNI
{
public:
~COpenNI() {
context.Release();//释放空间
}
bool Initial() {
//初始化
status = context.Init();
if(CheckError("Context initial failed!")) {
return false;
}
context.SetGlobalMirror(true);//设置镜像
//产生图片node
status = image_generator.Create(context);
if(CheckError("Create image generator error!")) {
return false;
}
//产生深度node
status = depth_generator.Create(context);
if(CheckError("Create depth generator error!")) {
return false;
}
//视角校正
status = depth_generator.GetAlternativeViewPointCap().SetViewPoint(image_generator);
if(CheckError("Can't set the alternative view point on depth generator!")) {
return false;
}
status = gesture_generator.Create(context);
if(CheckError("Create gesture generator error!")) {
return false;
}
/*添加手势识别的种类*/
gesture_generator.AddGesture("Wave", NULL);
gesture_generator.AddGesture("click", NULL);
gesture_generator.AddGesture("RaiseHand", NULL);
gesture_generator.AddGesture("MovingHand", NULL);
return true;
}
bool Start() {
status = context.StartGeneratingAll();
if(CheckError("Start generating error!")) {
return false;
}
return true;
}
bool UpdateData() {
status = context.WaitNoneUpdateAll();
if(CheckError("Update date error!")) {
return false;
}
//获取数据
image_generator.GetMetaData(image_metadata);
depth_generator.GetMetaData(depth_metadata);
return true;
}
public:
DepthMetaData depth_metadata;
ImageMetaData image_metadata;
GestureGenerator gesture_generator;//外部要对其进行回调函数的设置，因此将它设为public类型
private:
//该函数返回真代表出现了错误，返回假代表正确
bool CheckError(const char* error) {
if(status != XN_STATUS_OK ) {
QMessageBox::critical(NULL, error, xnGetStatusString(status));
cerr << error << ": " << xnGetStatusString( status ) << endl;
return true;
}
return false;
}
private:
XnStatus status;
Context context;
DepthGenerator depth_generator;
ImageGenerator image_generator;
};
main.cpp:
#include <QCoreApplication>
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <opencv2/core/core.hpp>
#include "copenni.cpp"
#include <iostream>
using namespace cv;
using namespace xn;
Mat depth_image;
Mat depth_image_result;//深度结果图，且在该图上显示手势动作的类型
COpenNI openni;
bool test_flag = false;
// callback function for gesture recognized
//回调函数，该函数的函数名字可以随便取，但是其参数的格式必须不能改变
//这里该函数的作用是表示上面4种手势发生完成后调用
void XN_CALLBACK_TYPE GRecognized ( xn::GestureGenerator &generator,
const XnChar *strGesture,
const XnPoint3D *pIDPosition,
const XnPoint3D *pEndPosition,
void *pCookie )
{
depth_image_result = depth_image.clone();
putText(depth_image_result, strGesture, Point(50, 150), 3, 0.8, Scalar(255, 0, 0), 2 );
test_flag = true;
}
// callback function for gesture progress
//该函数表示上面4种手势某一种正在发生时调用
void XN_CALLBACK_TYPE GProgress ( xn::GestureGenerator &generator,
const XnChar *strGesture,
const XnPoint3D *pPosition,
XnFloat fProgress,
void *pCookie )
{
;
}
int main (int argc, char **argv)
{
if(!openni.Initial())
return 1;
XnCallbackHandle handle;
openni.gesture_generator.RegisterGestureCallbacks(GRecognized, GProgress, NULL, handle);
if(!openni.Start())
return 1;
namedWindow("depth image", CV_WINDOW_AUTOSIZE);
putText(depth_image, "YES!", Point(50, 150), 3, 0.8, Scalar(255, 0, 0), 2 );
while(1) {
if(!openni.UpdateData()) {
return 1;
}
/*获取并显示深度图像,且这2句代码不能放在回调函数中调用，否则后面的imshow函数会因为执行时找不到图片（因为此时回调函数不一定执行了）而报错*/
Mat depth_image_src(openni.depth_metadata.YRes(), openni.depth_metadata.XRes(),
CV_16UC1, (char *)openni.depth_metadata.Data());//因为kinect获取到的深度图像实际上是无符号的16位数据
depth_image_src.convertTo(depth_image, CV_8U, 255.0/8000);
if(!test_flag)
imshow("depth image", depth_image);
else
imshow("depth image", depth_image_result);
waitKey(30);
test_flag = false;
}
}
错误总结
如果用Qt的控制台建立程序,运行程序时出现下面的错误提示:
这是因为控制台程序不能使用Qt的界面(本程序中使用了QMessageBox)，因此需要在工程pro的代码中把QT – gui给去掉，否则会报类似的这种错误。
如果是在OpenCV中出现如下错误：
则表示是imshow函数需要还来不及显示完成就被其它的函数给中断了，这可能在回调函数中出现这种情况。
实验总结
通过本次实验对OpenNI自带的手势识别类的使用有了初步的了解。
参考资料：
附录：实验工程code下载。