前言
前两篇博文分别讨论了YOLOv5检测算法的两种加速思路：采用多进程或批量检测，不过效果均收效甚微。本问将讨论使用TensorRT加速以及半精度推理/模型量化等优化策略对检测加速的实际影响。
测试环境
测试图片分辨率：13400x9528
GPU：RTX4090
Cuda：11.7
YOLOv5版本：最新版(v7.0 )
检测策略：将整张图片直接设置img_size为(1280x1280)进行检测(忽略精度，只注重速度)
环境搭建
关于TensorRT的安装在之前博文【目标检测】使用TensorRT加速YOLOv5中已经写过，这里不作赘述。
Tensort模型转换
运行export.py即可将pt模型转换成Tensort(.engine)格式，主要需要改两个参数：
--imgsz : default=[1280, 1280]
--include ：engine
--device : 0实验结论
下面是选用两张13400x9528进行检测，下表是检测结果：
模型名称 | 检测时间(s) |
|---|---|
yolov5n.pt | 2.279 |
yolov5n.engine | 2.199 |
yolov5s.pt | 2.368 |
yolov5s.engine | 2.232 |
可以发现，检测速度是有一定提升的，不过似乎并不明显。
YOLOv5最新版本可以将检测前后三个步骤(预处理、推理、非极大化抑制)分别统计时间，yolov5s.pt和yolov5s.engine的时间如下：
yolov5s.pt Speed: 1.0ms pre-process, 19.5ms inference, 1.5ms NMS per image at shape (1, 3, 1280, 1280) yolov5s.engine Speed: 270.5ms pre-process, 3.0ms inference, 2.0ms NMS per image at shape (1, 3, 1280, 1280)
可以看到，转成TensorRT之后，推理(inference)时间确实如某些资料所述，加速了五倍以上，但预处理时间却慢了不少。这背后的原因有待探究。
在转TensorRT模型过程中，有一些其它参数可供选择，比如，可以使用半精度推理和模型量化策略。
半精度推理即FP32->FP16，模型量化策略(int8)较复杂，具体原理可参考部署系列——神经网络INT8量化教程第一讲！
在模型转换过程中，设置参数--half和--int8为True，即可使用这两个策略，相应会增加转换的时间，yolov5n模型转换大概耗时312.8s。
使用该策略后，提升效果还是比较明显的，速度较之前又肉眼可见得变快了。
模型名称 | 检测时间(s) |
|---|---|
yolov5n.engine | 1.586 |
yolov5s.engine | 1.607 |
总结
本实验结果汇总如下表：
模型名称 | 单帧检测时间 | 单秒检测帧数 |
|---|---|---|
yolov5n.pt | 1.140 | 0.878 |
yolov5n.engine | 1.100 | 0.910 |
yolov5n.engine(量化后) | 0.793 | 1.261 |
yolov5s.pt | 1.184 | 0.845 |
yolov5s.engine | 1.116 | 0.896 |
yolov5s.engine(量化后) | 0.804 | 1.245 |
To do
在实验过程中发现了一个奇怪的现象，按理论来说，模型量化之后，模型体积估计会小不少，然而使用本文方法导出的TensorRT模型体积反而更大，有相关博文指出，使用本方法导出的TensorRT模型和使用Cmake编译形成的TensorRT模型存在效果差异，之后有时间会进一步进行探索(先挖个坑)。
参考资料
常规方法转TensorrRT：https://github.com/wang-xinyu/tensorrtx/tree/master/yolov5
