2月2日,NVIDIA悄悄发布了Deepstream 6.2版本。
注意,在官方文档里,说明了Deepstream 6.2支持的GPU,可以看到不支持Jetson NANO和Jetson TX2NX。
跟NVIDIA Jetson相关的部分:
- 需要基于JetPack 5.1 GA版本(NVIDIA JetPack 5.1正式发行版开放下载,这些细节需要注意)
- 支持DeepSort跟踪器
- 在Jetson上支持ASR和TTS
- 使用SGIE启用预处理插件
- 新 Gst-nvstreammux 插件的增强。可以通过导出 USE_NEW_NVSTREAMMUX=yes 来启用新的 nvstreammux
- 改进的 NVDCF 跟踪器
- NVIDIA TAO 工具包(模型来自 github.com/NVIDIA-AI-IO(分支:release/tao4.0_ds6.2ga)集成到SDK中。
- 继续支持 2D 身体姿态估计、面部特征估计、情感识别、凝视、心率和手势。(github.com/NVIDIA-AI-IO 分支:release/tao4.0_ds6.2ga)。添加了对 ReIdentificationNet 模型和零售对象识别模型的支持。
- 新的 deepstream-mdx-perception-app 应用程序,用于嵌入来自重新识别网络的向量,以识别在不同场景中捕获的对象。
与Deepstream 6.1.1不同之处:
-gstreamer1.0-libav,libav,OSS编码器,解码器插件(x264/x265)和 audioparsers 包从 DeepStream Docker 中被删除。用户需要根据自己的需求安装(gstreamer1.0-plugins-good/gstreamer1.0-plugins-bad/ gstreamer1.0-plugins-ugly)。
-在 Docker中运行Deepstream应用程序时候,你可能看到下列警告:
代码语言:javascript复制WARNING from src_elem: No decoder available for type 'audio/mpeg,
mpegversion=(int)4, framed=(boolean)true, stream-format=(string)raw,
level=(string)2, base-profile=(string)lc, profile=(string)lc,
codec_data=(buffer)119056e500, rate=(int)48000, channels=(int)2'.
Debug info: gsturidecodebin.c(920): unknown_type_cb ():
为避免此类警告,请在 docker 中安装 gstreamer1.0-libav 和 gstreamer1.0-plugins-good。
-具体来说,对于基于 deepstream-nmos、deepstream-avsync-app 和 python 的 deepstream-imagedata-multistream 应用程序,您需要安装 gstreamer1.0-libav 和 gstreamer1.0-plugins-good。
注意一些issue:
-通过 SSH(通过 putty)使用 X11 转发运行 DeepStream 应用程序不起作用。
-DeepStream 目前期望模型网络宽度为 4 的倍数,网络高度为 2 的倍数。
-DeepStream 中的 Triton 推理服务器目前支持单个 GPU。这些模型需要配置为使用单个 GPU。
-对于某些模型,DeepStream 中的输出与在 TAO Toolkit 中观察到的不完全相同。这是由于输入缩放算法的差异。
-动态模型更新仅支持具有相同网络参数的相同类型的模型。
-DeepStream 无法安装在当前的 16 GB Xavier NX 生产模组上,因为 Jetpack 软件占用了整个 16 GB emmc 内存空间。我们建议使用带有 32 GB SD 卡的 Xavier NX 开发人员套件。
-当图形/管道初始化期间发生错误时,包含 NvDsMultiSrcInput 组件的示例图形会导致segmentation fault 。
-在 jetson 上,当屏幕空闲时,DeepStream 应用程序的 fps 会降低。这种行为是为了省电而设计的。
-NVIDIA ® Jetson AGX Orin ™ 和 NVIDIA ® Jetson Orin ™ NX 不支持光流插件。
-对于某些模型,从 TensorRT 到 Triton 的性能可能会下降(5% 到 15%)。
-要生成 YOLOV3、YOLOV4 和 YOLOV4-tiny 模型引擎,某些层的精度应指定为 FP32,以符合 TensorRT 8.4.1.5 限制。该解决方案在 github.com/NVIDIA-AI-IO 中更新。
-在运行 DeepStream 应用程序时,在 Jetson docker 上会看到错误“modprobe: FATAL: Module nvidia not found...”,但可以安全地忽略。