本次笔记整理自NVIDIA 8月20日在线研讨会,原讲座标题:DEEPSTREAM SDK – ACCELERATING REAL-TIME AI BASED VIDEO AND IMAGE ANALYTICS
今天我们介绍仓储物流场景应用
AI的另一个落地应用就是仓储和物流。我们可以通过自动化冗余手动流程来改善和优化配送中心的供应链,从而提高员工的工作效率和安全性。
仓库中的一个用例是在传送带上检测和标记包装。 我们与Microsoft Azure和Lenovo合作构建了一个概念验证解决方案,如果传送带上出现错误的包裹,可以快速生成警报,并且可以在传送带上移走。
NV的解决方案依靠连接到边缘设备的传送带上的多个摄像头。摄像头输入进入Deepstream容器,将使用AI来感知像素并进行分析,
然后将这些分析发送到Azure loT Edge运行时。联想创建的业务逻辑服务将生成通知服务并与运行时通信。最后,将所有的遥测数据传输到Azure loT中心。
现在让我们看看这个系统的运作情况。
您将看到的这个DEMO,以展示我们正在构建的概念的证明。
我们可以看到一个包装被认为是好的,而另一个包装是不对的。如果包裹属于正确的产线,则会检测并检查包裹。如果没有,那么红灯将在传送带上闪烁,表示非法包裹。
在此演示中对包裹进行分类和标记的方式基于包装盒上的QR码。应用程序必须首先检测帧中的框,然后扫描QR代码。 让我们看看这个参考应用程序是如何使用Deespstream SDK设计的。
这是在deepStream中实现的整个管道,并且与Azure loT Central的连接。 这条管道中有什么独特之处?NVIDIA 实现了自定义G Streamer插件来读取包的QR码。Deepstream提供了创建自定义插件并将其添加到管道中的功能。这为开发人员提供了创建满足其需求的自定义解决方案的灵活性。
Deepstream开发人员指南和插件手册提供了有关如何创建自定义插件的信息。
在QR代码插件之后是消息代理插件中的Message Broker。消息代理插件连接到Azure loT的运行时以与Azure IoT中心进行通信。
最后,整个解决方案可在容器中部署。
通过IOT边缘运行时连接到Azure loT云。 在Deepstream中,通过消息代理插件实现与云的连接。此插件叫Libnvds_azure_Edge_proto,使用较低级别的库连接到Azure模块客户端。 此模块客户端是Azure loT SDK的一部分。Azure loT SDK是一组库,旨在简化从Azure loT中心发送和接收消息的过程。有关如何下载所有依赖项的详细说明,请参见菜单中的插件。 Azure模块需要位于docker容器中。这种方法的好处是您可以通过容器将多个应用程序连接到单个IO T边缘运行时。