基于OpenVINO2023.1 C++ SDK在爱克斯开发板上部署YOLOv8

2023-11-24 13:13:11 浏览数 (2)

OpenVINO2023 C SDK安装

爱克斯开发板对应的乌班图版本是ubuntu20,可以通过下面的命令行查询到版本号:

代码语言:javascript复制
uname –a

然后根据对应版本的系统下载开发包,从2022.3版本开始OpenVINO的开发包已经变成zip格式的压缩包而非exe安装包。

下载完成以后,解压缩到本地,然后执行下面的这个脚本文件:

代码语言:javascript复制
./setupvars.sh

这样就完成安装了。

YOLOv8模型转换

直接在艾克斯开发板上安装好YOLOv8框架,然后运行下面的命令行:

代码语言:javascript复制
yolo export model=yolov8n.pt format=openvino

这样就成功导出OpenVINO IR格式文件了。

C SDK加速推理YOLOv8

首先创建YOLOv8 OpenVINO C 工程源码与CMake文件生成,YOLOv8模型量化支持,请参考我以前写的三篇文章:

NNCF压缩与量化YOLOv8模型与OpenVINO部署测试

OpenVINO2023异步回调流水线提升推理吞吐率

Ubuntu系统下编译OpenCV4.8源码记录

准备好以后,直接在工程目录下执行cmake然后make,再开启运行

CPU上的推理速度(比树莓派好那么一点点)

我注意到爱克斯开发板上是有个独立NPU计算单元的,直接修改了一下代码,启动GPU(NPU)加速推理能力,这次帧率真的可以惊艳了我!(吊打树莓派,完爆很多千元以下开发板

怒开四个Request,直接把NPU推理流水线拉起来,这个时候,奇迹又又发生了(说它是千元以下开发板中的王者也当得起!

从此我又相信OpenVINO在爱克斯开发板的边缘端推理能力了。

推荐阅读

Ubuntu系统下编译OpenCV4.8源码记录

Pytoorch轻松学 – RetinaNet自定义对象检测

基于OpenCV实现精准线线间距测量

OpenVINO2023异步回调流水线提升推理吞吐率

NNCF压缩与量化YOLOv8模型与OpenVINO部署测试

技能 | 三种主流的深度学习模型部署框架

深度学习模型C 推理,推荐看看 OpenVINO2022

OpenCV4系统化学习路线图(2023版)

0 人点赞