点击上方蓝字关注我们
微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识
引言
我把YOLOv5最新版本的模型分别用OpenCV DNN（Python、C ）部署、OpenVINO（Python、C ）部署、ONNXRUNTIME-GPU（Python、C ）部署，然后还测试了CPU/GPU不同平台上的运行速度比较。
软件版本与硬件规格
测试用的硬件与软件信息：
GPU 1050TiCPU i7八代OS：Win10 64位OpenVINO2021.4ONNXRUNTIME：1.4OpenCV4.5.4Python3.6.5YOLOv5 6.1使用的YOLOv5模型中的yolov5s.pt模型，转换为ONNX模型之后输入格式为：
NCHW = 1x3x640x640最终输出层名称:output，格式：
NHW = 1x25200x85YOLOv5推理速度比较
基于同一段视频文件，Python/C 代码测试结果比较如下：
说明：OpenCV DNN与OpenVINO是基于CPU测试的，ONNXRUNTIME是基于GPU版本测试的，ONNXRUNTIME的CPU版本我没有测试过。
贴几张运行时候的截图：
代码实现与说明
ONNX代码实现部分主要是参考了YOLOv5官方给出几个链接：
https://github.com/microsoft/onnxruntime/issues/10323https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.htmlhttps://github.com/microsoft/onnxruntime-inference-examples/blob/main/c_cxx/imagenet/main.cc有一个特别坑的地方需要特别的注意：
ONNX C 的环境必须是全局变量，声明如下：
Ort::Env env = Ort::Env(ORT_LOGGING_LEVEL_ERROR, "YOLOv5");只有所有的推理图象执行完成才可以调用release进行释放，否则就会一直卡死，程序崩溃！ONNX其它的部分的代码实现基本实现了跟DNN/OpenVINO推理后处理代码的完全复用！相关代码建议参考之前的两篇推文：
OpenCV4.5.x DNN YOLOv5 C 推理
OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理
特别说明：怎么没有TensorRT/？主要是因为我电脑安装了CUDA10.1版本 TensorRT7.0的不兼容，我又不想再折腾重新安装CUDA10.0，所以暂无！等我新笔记本到货立刻补上这一缺失！
扫码查看OpenCV Pytorch系统化学习路线图
推荐阅读
CV全栈开发者说 - 从传统算法到深度学习怎么修炼
Pytorch轻松实现经典视觉任务
教程推荐 | Pytorch框架CV开发-从入门到实战
OpenCV4 C 学习 必备基础语法知识三
OpenCV4 C 学习 必备基础语法知识二
OpenCV4.5.4 人脸检测 五点landmark新功能测试
OpenCV4.5.4人脸识别详解与代码演示
OpenCV二值图象分析之Blob分析找圆
OpenCV4.5.x DNN YOLOv5 C 推理
OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理
