OpenCV3.3 深度学习模块-对象检测演示

一：概述

OpenCV3.3 DNN模块功能十分强大，可以基于已经训练好的模型数据，实现对图像的分类与图像中的对象检测在图像与实时视频中，上次发的一篇文章介绍了DNN模块实现图像分类，这篇文章介绍DNN模块实现对图像中对象检测与标记。当前比较流行基于卷积神经网络/深度学习的对象检测方法主要有以下三种：

Faster R-CNNs
You Only Look Once(YOLO)
Single Shot Detectors(SSD)

其中第一种Faster R-CNNs对初学深度来说是很难理解与训练的网络模型，而且该方法虽然号称是Fast，其实在实时对象检测时候，比后面两中方法要慢很多，每秒帧率非常低。最快的是YOLO，据说帧率可以达到40～90 FPS、另外SSD实时帧率号称20～40FPS，我在我的i5的笔记本上测试了SSD感觉只有10FPS左右，基本超过视频最低的5FPS的最低值。可能是我的笔记本比较旧。

二：模型数据

本文的演示是基于SSD模块数据完成，OpenCV 3.3 使用的SSD模型数据有两种，一种是支持100个分类对象检测功能的，主要是用于对图像检测；另外一种是可以在移动端时候、可以支持实时视频对象检测的，支持20个分类对象检测。本人对这两种方式都下载了数据模型做了测试。发现使用mobilenet版本响应都在毫秒基本，速度飞快，另外一种SSD方式，基本上针对图像，都是1～2秒才出结果。数据模型的下载可以从下面的链接：

https://github.com/weiliu89/caffe/tree/ssd#models

三：演示效果

针对图像的SSD对象检测

OpenCV3.3 深度学习模块-对象检测演示

针对视频实时对象检测mobilenet SSD对象检测结果，我用了OpenCV自带的视频为例，运行截图：

OpenCV3.3 深度学习模块-对象检测演示

四：演示代码

相关注释已经写在代码里面，不在多废话、解释！代码即文档！

int main(int argc, char** argv) {
Mat frame = imread("D:/vcprojects/images/dnn/004545.jpg");
// Mat frame = imread("D:/vcprojects/images/paiqiu.png");
// Mat frame = imread("D:/vcprojects/images/dnn/000456.jpg");
// Mat frame = imread("D:/vcprojects/images/ssd.jpg");
if (frame.empty()) {
printf("could not load image...\n");
return -1;
}
// 读取分类文本标记
Ptr<dnn::Importer> importer;
vector<String> text_labels = readClasslabels();
// Import Caffe SSD model
try
{
importer = dnn::createCaffeImporter(modelConfiguration, modelBinary);
}
catch (const cv::Exception &err)
{
cerr << err.msg << endl;
}
// 初始化网络
dnn::Net net;
importer->populateNet(net);
importer.release();
// 准备输入数据，
Mat preprocessedFrame = preprocess(frame); // 300x300 resize substract means
Mat inputBlob = blobFromImage(preprocessedFrame);
// 检测
net.setInput(inputBlob, "data"); // 输入层 data
Mat detection = net.forward("detection_out"); // 输出到最后一层
Mat detectionMat(detection.size[2], detection.size[3], CV_32F, detection.ptr<float>());
// 根据置信阈值设置，绘制对象矩形
float confidenceThreshold = 0.1;
for (int i = 0; i < detectionMat.rows; i++)
{
float confidence = detectionMat.at<float>(i, 2);
// printf("current confidence %.2f \n", confidence);
if (confidence > confidenceThreshold)
{
size_t objectClass = (size_t)(detectionMat.at<float>(i, 1));
float xLeftBottom = detectionMat.at<float>(i, 3) * frame.cols;
float yLeftBottom = detectionMat.at<float>(i, 4) * frame.rows;
float xRightTop = detectionMat.at<float>(i, 5) * frame.cols;
float yRightTop = detectionMat.at<float>(i, 6) * frame.rows;
// 得到分类ID与置信值
std::cout << "Class: " << objectClass << std::endl;
std::cout << "Confidence: " << confidence << std::endl;
std::cout << " " << xLeftBottom
<< " " << yLeftBottom
<< " " << xRightTop
<< " " << yRightTop << std::endl;
Rect object((int)xLeftBottom, (int)yLeftBottom,
(int)(xRightTop - xLeftBottom),
(int)(yRightTop - yLeftBottom));
// 绘制矩形与分类文本
rectangle(frame, object, Scalar(0, 0, 255), 2, 8, 0);
putText(frame, format("%s", text_labels[objectClass].c_str()), Point((int)xLeftBottom, (int)yLeftBottom), FONT_HERSHEY_SIMPLEX, 0.65, Scalar(0, 255, 0), 2, 8);
}
}
imshow("detections", frame);
waitKey(0);
return 0;
}

其中读取分类标记文档代码如下：

/* 读取图像的100个分类标记文本数据 */
vector<String> readClasslabels() {
std::vector<String> classNames;
std::ifstream fp(labelFile);
if (!fp.is_open())
{
std::cerr << "File with classes labels not found: " << labelFile << std::endl;
exit(-1);
}
std::string name;
while (!fp.eof())
{
std::getline(fp, name);
if (name.length() && (name.find("display_name:") == 0)) {
string temp = name.substr(15);
temp.replace(temp.end()-1, temp.end(), "");
printf("current row content %s\n", temp.c_str());
classNames.push_back(temp);
}
}
fp.close();
return classNames;
}

求木之长者，必固其根本；

欲流之远者，必浚其泉源！

关注【OpenCV学堂】

长按或者扫码下面二维码即可关注

OpenCV3.3 深度学习模块-对象检测演示

+OpenCV学习群 376281510

进群暗号：OpenCV