Opencv目标跟踪—CamShift算法

版权声明：本文为博主原创文章，转载请注明出处。 http://blog.csdn.net/dcrmg/article/details/52771372

CamShift算法全称是“Continuously Adaptive Mean-Shift”（连续的自适应MeanShift算法），是对MeanShift算法的改进算法，可以在跟踪的过程中随着目标大小的变化实时调整搜索窗口大小，对于视频序列中的每一帧还是采用MeanShift来寻找最优迭代结果，至于如何实现自动调整窗口大小的，可以查到的论述较少，我的理解是通过对MeanShift算法中零阶矩的判断实现的。

在MeanShift算法中寻找搜索窗口的质心用到窗口的零阶矩M00和一阶矩M10，M01：

零阶矩是搜索窗口内所有像素的积分，即所有像素值之和，物理上的意义是计算搜索窗口的尺寸。经过目标的H分量直方图反向投影后，目标区域的搜索窗口大部分像素值归一化后应该是最大值255，如果计算出来零阶矩大于某一阈值，可以认为此时目标铺满了整个搜索窗口，有理由认为在搜索窗口之外的区域还存在目标区域，需要增大搜索窗口的尺寸；相应的，如果零阶矩小于某一阈值，则需要缩小搜索窗口的尺寸，如此一来，当目标的大小发生变化的时候，CamShift算法就可以自适应的调整目标区域进行跟踪。

以上过程中涉及到一个关键的概念——反向投影，CamShift和MeanShift的运算都是在反向投影图像上进行的，反向投影的实现过程如下：计算并生成目标区域的H分量的直方图，反向投影其实就是把目标图像上每一个像素点的像素值替换为当前像素值所在bin对应的直方图bin的数值。

Opencv中CamShfit在使用上跟MeanShift一致：

[cpp] view plain copy

1. CamShift( InputArray probImage, CV_OUT CV_IN_OUT Rect& window,  
2.                                    TermCriteria criteria );  

第一个参数probImage是反向投影图像

第二个参数window是输入和输出的搜索窗口/目标窗口，window的尺寸会自动调整

第三个参数criteria是迭代收敛终止条件

[cpp] view plain copy

1. #include "core/core.hpp"        
2. #include "highgui/highgui.hpp"        
3. #include "imgproc/imgproc.hpp"    
4. #include "video/tracking.hpp"    
5. #include<iostream>        
6.   
7. using namespace cv;        
8. using namespace std;        
9.   
10. Mat image;      
11. Mat rectImage;    
12. Mat imageCopy; //绘制矩形框时用来拷贝原图的图像      
13. bool leftButtonDownFlag=false; //左键单击后视频暂停播放的标志位      
14. Point originalPoint; //矩形框起点      
15. Point processPoint; //矩形框终点      
16.   
17. Mat targetImageHSV;    
18. int histSize=200;      
19. float histR[]={0,255};      
20. const float *histRange=histR;      
21. int channels[]={0,1};     
22. Mat dstHist;    
23. Rect rect;    
24. vector<Point> pt; //保存目标轨迹    
25. void onMouse(int event,int x,int y,int flags ,void* ustc); //鼠标回调函数      
26.   
27. int main(int argc,char*argv[])        
28. {        
29.     VideoCapture video(argv[1]);      
30.     double fps=video.get(CV_CAP_PROP_FPS); //获取视频帧率      
31.     double pauseTime=1000/fps; //两幅画面中间间隔      
32.     namedWindow("跟踪木头人",0);        
33.     setMouseCallback("跟踪木头人",onMouse);      
34.     while(true)      
35.     {      
36.         if(!leftButtonDownFlag) //判定鼠标左键没有按下，采取播放视频，否则暂停      
37.         {      
38.             video>>image;      
39.         }      
40.         if(!image.data||waitKey(pauseTime)==27)  //图像为空或Esc键按下退出播放      
41.         {      
42.             break;      
43.         }     
44.         if(originalPoint!=processPoint&&!leftButtonDownFlag)      
45.         {     
46.             Mat imageHSV;    
47.             Mat calcBackImage;    
48.             cvtColor(image,imageHSV,CV_RGB2HSV);    
49.             calcBackProject(&imageHSV,2,channels,dstHist,calcBackImage,&histRange);  //反向投影    
50.             TermCriteria criteria(TermCriteria::MAX_ITER + TermCriteria::EPS, 1000, 0.001);      
51.             CamShift(calcBackImage, rect, criteria);       
52.             Mat imageROI=imageHSV(rect);   //更新模板               
53.             targetImageHSV=imageHSV(rect);    
54.             calcHist(&imageROI, 2, channels, Mat(), dstHist, 1, &histSize, &histRange);      
55.             normalize(dstHist, dstHist, 0.0, 1.0, NORM_MINMAX);   //归一化    
56.             rectangle(image, rect, Scalar(255, 0, 0),3);    //目标绘制      
57.             pt.push_back(Point(rect.x+rect.width/2,rect.y+rect.height/2));    
58.             for(int i=0;i<pt.size()-1;i++)    
59.             {    
60.                 line(image,pt[i],pt[i+1],Scalar(0,255,0),2.5);    
61.             }    
62.         }      
63.         imshow("跟踪木头人",image);     
64.         waitKey(100);    
65.     }    
66.     return 0;      
67. }        
68.   
69. //*******************************************************************//        
70. //鼠标回调函数        
71. void onMouse(int event,int x,int y,int flags,void *ustc)        
72. {       
73.     if(event==CV_EVENT_LBUTTONDOWN)        
74.     {        
75.         leftButtonDownFlag=true; //标志位      
76.         originalPoint=Point(x,y);  //设置左键按下点的矩形起点      
77.         processPoint=originalPoint;      
78.     }        
79.     if(event==CV_EVENT_MOUSEMOVE&&leftButtonDownFlag)        
80.     {        
81.         imageCopy=image.clone();      
82.         processPoint=Point(x,y);      
83.         if(originalPoint!=processPoint)      
84.         {      
85.             //在复制的图像上绘制矩形      
86.             rectangle(imageCopy,originalPoint,processPoint,Scalar(255,0,0),2);      
87.         }      
88.         imshow("跟踪木头人",imageCopy);      
89.     }        
90.     if(event==CV_EVENT_LBUTTONUP)        
91.     {        
92.         leftButtonDownFlag=false;      
93.         rect=Rect(originalPoint,processPoint);          
94.         rectImage=image(rect); //子图像显示      
95.         imshow("Sub Image",rectImage);          
96.         cvtColor(rectImage,targetImageHSV,CV_RGB2HSV);    
97.         imshow("targetImageHSV",targetImageHSV);    
98.         calcHist(&targetImageHSV,2,channels,Mat(),dstHist,1,&histSize,&histRange,true,false);           
99.         normalize(dstHist,dstHist,0,255,CV_MINMAX);    
100.         imshow("dstHist",dstHist);    
101.     }          
102. }       

蓝色窗口是跟踪的目标，绿色线条是目标走过的轨迹。

CamShift算法全称是“Continuously Adaptive Mean-Shift”（连续的自适应MeanShift算法），是对MeanShift算法的改进算法，可以在跟踪的过程中随着目标大小的变化实时调整搜索窗口大小，对于视频序列中的每一帧还是采用MeanShift来寻找最优迭代结果，至于如何实现自动调整窗口大小的，可以查到的论述较少，我的理解是通过对MeanShift算法中零阶矩的判断实现的。

在MeanShift算法中寻找搜索窗口的质心用到窗口的零阶矩M00和一阶矩M10，M01：

零阶矩是搜索窗口内所有像素的积分，即所有像素值之和，物理上的意义是计算搜索窗口的尺寸。经过目标的H分量直方图反向投影后，目标区域的搜索窗口大部分像素值归一化后应该是最大值255，如果计算出来零阶矩大于某一阈值，可以认为此时目标铺满了整个搜索窗口，有理由认为在搜索窗口之外的区域还存在目标区域，需要增大搜索窗口的尺寸；相应的，如果零阶矩小于某一阈值，则需要缩小搜索窗口的尺寸，如此一来，当目标的大小发生变化的时候，CamShift算法就可以自适应的调整目标区域进行跟踪。

以上过程中涉及到一个关键的概念——反向投影，CamShift和MeanShift的运算都是在反向投影图像上进行的，反向投影的实现过程如下：计算并生成目标区域的H分量的直方图，反向投影其实就是把目标图像上每一个像素点的像素值替换为当前像素值所在bin对应的直方图bin的数值。

Opencv中CamShfit在使用上跟MeanShift一致：

[cpp] view plain copy

1. CamShift( InputArray probImage, CV_OUT CV_IN_OUT Rect& window,  
2.                                    TermCriteria criteria );  

第一个参数probImage是反向投影图像

第二个参数window是输入和输出的搜索窗口/目标窗口，window的尺寸会自动调整

第三个参数criteria是迭代收敛终止条件

[cpp] view plain copy

1. #include "core/core.hpp"        
2. #include "highgui/highgui.hpp"        
3. #include "imgproc/imgproc.hpp"    
4. #include "video/tracking.hpp"    
5. #include<iostream>        
6.   
7. using namespace cv;        
8. using namespace std;        
9.   
10. Mat image;      
11. Mat rectImage;    
12. Mat imageCopy; //绘制矩形框时用来拷贝原图的图像      
13. bool leftButtonDownFlag=false; //左键单击后视频暂停播放的标志位      
14. Point originalPoint; //矩形框起点      
15. Point processPoint; //矩形框终点      
16.   
17. Mat targetImageHSV;    
18. int histSize=200;      
19. float histR[]={0,255};      
20. const float *histRange=histR;      
21. int channels[]={0,1};     
22. Mat dstHist;    
23. Rect rect;    
24. vector<Point> pt; //保存目标轨迹    
25. void onMouse(int event,int x,int y,int flags ,void* ustc); //鼠标回调函数      
26.   
27. int main(int argc,char*argv[])        
28. {        
29.     VideoCapture video(argv[1]);      
30.     double fps=video.get(CV_CAP_PROP_FPS); //获取视频帧率      
31.     double pauseTime=1000/fps; //两幅画面中间间隔      
32.     namedWindow("跟踪木头人",0);        
33.     setMouseCallback("跟踪木头人",onMouse);      
34.     while(true)      
35.     {      
36.         if(!leftButtonDownFlag) //判定鼠标左键没有按下，采取播放视频，否则暂停      
37.         {      
38.             video>>image;      
39.         }      
40.         if(!image.data||waitKey(pauseTime)==27)  //图像为空或Esc键按下退出播放      
41.         {      
42.             break;      
43.         }     
44.         if(originalPoint!=processPoint&&!leftButtonDownFlag)      
45.         {     
46.             Mat imageHSV;    
47.             Mat calcBackImage;    
48.             cvtColor(image,imageHSV,CV_RGB2HSV);    
49.             calcBackProject(&imageHSV,2,channels,dstHist,calcBackImage,&histRange);  //反向投影    
50.             TermCriteria criteria(TermCriteria::MAX_ITER + TermCriteria::EPS, 1000, 0.001);      
51.             CamShift(calcBackImage, rect, criteria);       
52.             Mat imageROI=imageHSV(rect);   //更新模板               
53.             targetImageHSV=imageHSV(rect);    
54.             calcHist(&imageROI, 2, channels, Mat(), dstHist, 1, &histSize, &histRange);      
55.             normalize(dstHist, dstHist, 0.0, 1.0, NORM_MINMAX);   //归一化    
56.             rectangle(image, rect, Scalar(255, 0, 0),3);    //目标绘制      
57.             pt.push_back(Point(rect.x+rect.width/2,rect.y+rect.height/2));    
58.             for(int i=0;i<pt.size()-1;i++)    
59.             {    
60.                 line(image,pt[i],pt[i+1],Scalar(0,255,0),2.5);    
61.             }    
62.         }      
63.         imshow("跟踪木头人",image);     
64.         waitKey(100);    
65.     }    
66.     return 0;      
67. }        
68.   
69. //*******************************************************************//        
70. //鼠标回调函数        
71. void onMouse(int event,int x,int y,int flags,void *ustc)        
72. {       
73.     if(event==CV_EVENT_LBUTTONDOWN)        
74.     {        
75.         leftButtonDownFlag=true; //标志位      
76.         originalPoint=Point(x,y);  //设置左键按下点的矩形起点      
77.         processPoint=originalPoint;      
78.     }        
79.     if(event==CV_EVENT_MOUSEMOVE&&leftButtonDownFlag)        
80.     {        
81.         imageCopy=image.clone();      
82.         processPoint=Point(x,y);      
83.         if(originalPoint!=processPoint)      
84.         {      
85.             //在复制的图像上绘制矩形      
86.             rectangle(imageCopy,originalPoint,processPoint,Scalar(255,0,0),2);      
87.         }      
88.         imshow("跟踪木头人",imageCopy);      
89.     }        
90.     if(event==CV_EVENT_LBUTTONUP)        
91.     {        
92.         leftButtonDownFlag=false;      
93.         rect=Rect(originalPoint,processPoint);          
94.         rectImage=image(rect); //子图像显示      
95.         imshow("Sub Image",rectImage);          
96.         cvtColor(rectImage,targetImageHSV,CV_RGB2HSV);    
97.         imshow("targetImageHSV",targetImageHSV);    
98.         calcHist(&targetImageHSV,2,channels,Mat(),dstHist,1,&histSize,&histRange,true,false);           
99.         normalize(dstHist,dstHist,0,255,CV_MINMAX);    
100.         imshow("dstHist",dstHist);    
101.     }          
102. }       

蓝色窗口是跟踪的目标，绿色线条是目标走过的轨迹。