OpenVINO2023 C SDK安装
爱克斯开发板对应的乌班图版本是ubuntu20,可以通过下面的命令行查询到版本号:
代码语言:javascript复制uname –a
然后根据对应版本的系统下载开发包,从2022.3版本开始OpenVINO的开发包已经变成zip格式的压缩包而非exe安装包。
下载完成以后,解压缩到本地,然后执行下面的这个脚本文件:
代码语言:javascript复制./setupvars.sh
这样就完成安装了。
YOLOv8模型转换
直接在艾克斯开发板上安装好YOLOv8框架,然后运行下面的命令行:
代码语言:javascript复制yolo export model=yolov8n.pt format=openvino
这样就成功导出OpenVINO IR格式文件了。
C SDK加速推理YOLOv8
首先创建YOLOv8 OpenVINO C 工程源码与CMake文件生成,YOLOv8模型量化支持,请参考我以前写的三篇文章:
NNCF压缩与量化YOLOv8模型与OpenVINO部署测试
OpenVINO2023异步回调流水线提升推理吞吐率
Ubuntu系统下编译OpenCV4.8源码记录
准备好以后,直接在工程目录下执行cmake然后make,再开启运行
CPU上的推理速度(比树莓派好那么一点点)
我注意到爱克斯开发板上是有个独立NPU计算单元的,直接修改了一下代码,启动GPU(NPU)加速推理能力,这次帧率真的可以惊艳了我!(吊打树莓派,完爆很多千元以下开发板)
怒开四个Request,直接把NPU推理流水线拉起来,这个时候,奇迹又又发生了(说它是千元以下开发板中的王者也当得起!)
从此我又相信OpenVINO在爱克斯开发板的边缘端推理能力了。
推荐阅读
Ubuntu系统下编译OpenCV4.8源码记录
Pytoorch轻松学 – RetinaNet自定义对象检测
基于OpenCV实现精准线线间距测量
OpenVINO2023异步回调流水线提升推理吞吐率
NNCF压缩与量化YOLOv8模型与OpenVINO部署测试
技能 | 三种主流的深度学习模型部署框架
深度学习模型C 推理,推荐看看 OpenVINO2022
OpenCV4系统化学习路线图(2023版)