高阶API介绍
最新版本OpenCV4.1.2,针对深度神经网络模块,提供了三个高阶的API,通过它们,自动实现输入图像预处理与后处理,直接输出检测结果,支持图像分类、对象检测、图像分割三种常见的视觉常见任务。相关API如下:
dnn::ClassificationModel
dnn::DetectionModel
dnn::SegmentationModel
它们之间的继承关系如下:
以DetectionModel为例,创建时候声明模型路径(权重与配置文件路径)完成初始化与网络加载函数:
代码语言:javascript复制DetectionModel
(const String &model, // 模型权重
const String &config="" // 配置文件
)
检测函数:
代码语言:javascript复制void cv::dnn::DetectionModel::detect(
InputArray frame, // 输入图像
std::vector< int > & classIds, // 输出类别index
std::vector< float > & confidences, // 得分
std::vector< Rect > & boxes, // 目标框
float confThreshold = 0.5f, // 阈值
float nmsThreshold = 0.0f // NMS
)
这样就不需要再去解析SSD/Faster-RCNN/YOLOv3最后一层,而且这个函数还支持NMS功能,可以说是极大的方便了小白调用深度学习对象检测模型。是不是有一种级联检测器对象检测的既视感!
代码演示
以OpenCV深度神经网络模型自带的SSD人脸检测为例,首先需要运行:
samplesdnnface_detector文件夹下的
代码语言:javascript复制download_weights.py
文件下载模型,下载之后,通过下面的代码执行加载与初始化:
代码语言:javascript复制// 定义与初始化 检测模型
DetectionModel face_detector(modelBinary, modelDesc);
face_detector.setInputSize(Size(300, 300));
face_detector.setInputMean(meanVal);
face_detector.setInputScale(1.0);
face_detector.setInputSwapRB(false);
face_detector.setInputCrop(false);
然后对输入的图像或者视频的每一帧调用detect方法进行人脸检测即可:
代码语言:javascript复制face_detector.detect(frame, classIds, confidence, boxes, 0.5, 0.0);
完整的演示程序如下:
代码语言:javascript复制// 定义与初始化 检测模型
DetectionModel face_detector(modelBinary, modelDesc);
face_detector.setInputSize(Size(300, 300));
face_detector.setInputMean(meanVal);
face_detector.setInputScale(1.0);
face_detector.setInputSwapRB(false);
face_detector.setInputCrop(false);
// VideoCapture capture(0);
VideoCapture capture("D:/images/video/fbb.avi");
Mat frame;
vector<int> classIds;
vector<float> confidence;
vector<Rect> boxes;
ostringstream ss;
while (capture.read(frame)) {
int64 start = getTickCount();
imshow("input", frame);
// 调用模型
face_detector.detect(frame, classIds, confidence, boxes, 0.5, 0.0);
for (int i = 0; i < boxes.size(); i ) {
rectangle(frame, boxes[i], Scalar(0, 0, 255), 2, 8, 0);
}
double fps = cv::getTickFrequency() / (cv::getTickCount() - start);
double time = (cv::getTickCount() - start) / cv::getTickFrequency();
ss.str("");
ss << " FPS: " << fps << " ; time: " << time*1000 << " ms";
putText(frame, ss.str(), Point(20, 20), 0, 0.5, Scalar(0, 0, 255));
imshow("dnn_face_detection", frame);
if (waitKey(1) >= 0) break;
}
waitKey(0);
return;
运行效果如下:
速度有点感人,别着急,重新编译源码支持OpenVINO inference engine加速之后,改两行代码速度就可以提升10倍以上:
代码语言:javascript复制face_detector.setPreferableBackend(DNN_BACKEND_INFERENCE_ENGINE);
face_detector.setPreferableTarget(DNN_TARGET_CPU);
再看一下运行效果:
很简单使用OpenVINO的推理引擎(IE)之后,加速效果满满的。