点击观看完整课程
伴随着信息大爆炸和通讯技术的发展，“AIoT”俨然成为了当前科技和互联网领域的一个热门词汇，各大知名厂商纷纷表示自己要布局AIoT。到底什么是AIoT？AIoT到底有些什么优势呢？「腾讯云大学」联合「云加社区」为大家整理了大咖直播课《腾讯云 AIoT 解决方案》的回顾，看看腾讯云的IoT高级产品经理是如何理解AIoT的。
目前我们已经处于一个万物互联的时代，随着人工智能技术的发展以及技术之间的相互融合，我们也想把万物互联转换成万物智联。把原来的AI能力附着在通信能力之上，就形成了AI IoT的架构。如图所示，左下角部分是物联网通信技术，右上角是云上的AI推理平台。传统的解决方案都是类似这样，把AI放在云端，这样的方案是否会存在不足之处呢？
试想一下，在家居或者是商务场景中，会有一些边缘的摄像头，我们通过这些摄像头获得视频流数据，这些数据经过物理连接层、网络接入层、IoT Hub或IoT Video等通信渠道到达云端，在AI推理平台中进行推断，推断结束后再以相同链路返回边缘侧。这样至少会带来2大问题：高额的流量成本和远程调用的高时延。这不禁使我们腾讯云的团队去思考如何改良这种方案。
除此以外，我们也接收到了很多不同的需求，希望在边缘侧快速实现AI的功能。比如在智慧工厂方面，一些客户对分布各地的企业工厂在圣餐过程中的半成品、成品进行自动化的质量检测。智慧零售方面，AI应用于广泛分布式部署的无人货柜、商铺智能导购等场景，需要迅速识别商品人员。
随着技术的发展与融合让边缘AI落地成为可能。容器编排技术经过4年时间的发展逐渐成熟，这种技术让应用更容易地移植到云端；AI加速芯片的出现使得边缘智能设备的算力大幅提高并可灵活伸缩：不同AI计算框架让AI应用开发者的上手门槛大幅降低，他们可以更快地开发出应用；成熟的物联网数据采集技术为AI模型训练输入提供了良好基础。
前面说了这么多AIoT技术的发展和应用场景，以及我们腾讯云试图去改善AIoT的背景。那么，腾讯云针对于目前AIoT的需求推出了什么解决方案呢？
腾讯云关于边缘AIoT的解决方案是IoT EIDP。IoT EIDP与其他物联网组件、AI组件共筑腾讯云AIoT，具体结构如下图。
IoT EIDP主要有以下6大特点：设备自动接入、脱机AI计算、丰富算法市场、快速二次开发、快速一键部署和主流硬件平台。丰富的算法市场指的是集合了腾讯自有AI算法、第三方AI算法，满足不同客户对不同边缘场景下的需求
基于IoT EIDP的6大特点，可以给用户带来更快速地数据相应，更低的带宽和云存成本，更便捷的系统部署与维护，以及一站式的AI算法选择、硬件平台选择。
为了给用户好的使用体验，IoT EIDP采用了独特的技术架构。首先我们来看看总体架构，下图虚线框内就是总体架构，主要分为3个部分：应用与模型发布工具、应用与模型分发平台、边缘网关/盒子软件栈。应用与模型分发平台会对用户的应用、模型市场的应用、边缘侧设备进行管理。
接下来我们来看看各部分的细节是怎么样的。应用于模型发布架构有Docker管理、应用管理、可视化编辑应用、应用发布4个功能，和应用与模型分发平台架构的设备管理、应用管理、设备群组管理、应用群组管理4个模块分别对应。
软件栈的部分是边缘AI能力的基础，以容器引擎为底座，可以支持基于各类AI加速芯片的硬件平台。容器之上是设备接入服务，支持各类协议接入，如MQTT、RTSP/RTP/RTCP等。再往上看，是核心服务和智能分析服务。智能分析服务中有一个AI中间键，让用户可以根据自己的需求选择不同配置的AI加速器。最上层的是模型应用服务和云端连接服务，在模型应用服务推断出结果后，通过窄带和宽带推流连接到云端。除此以外，我们还设置了安全服务。
边缘侧是怎样实现边缘AI的技术细节呢？首先是服务发现与注册功能，会经过微服务启动——服务发现——服务调用——健康检查几个环节。
在数据处理方面，我们开放了至少15个模型，这些模型分为两类，一类是基础模型，即我们把模型能力进行抽象，提供简单易用的SDK，实现整个推断的流程。
另一类是高阶的AI数据的处理。边缘AI软件协议栈内置gRPC和RESTful API两种调用方式，方便开发者在1分钟内部署AI推理模型，同时，这个模型基于OpenVino中间件，可以快速提升性能。
数据处理完之后就涉及到数据分发的流程了。分发流程集成IoT Hub的窄带通信能力，以及IoT Video的宽带通信能力，实现结构化数据输出以及事件触发联动的视频输出。
前面有提到过，在边缘侧有一个垂直的安全的能力。这个安全的能力是指我们会结合腾讯云物联网中心，运用一款TID的产品，它主要提供模型版权保护和边缘设备身份认证两个功能。
一般边缘AI数据都特别大，有些用户会担心如果直接分发到云端的话，是否会造成大流量、大存储的问题。确实可能会有这样的影响，但是我们在边缘侧采用的是Docker的技术，天然地运用了镜像分层的原理，能使用同一个机组接纳容器，共用同一块数据空间，这样可以节省存储。同时，基于设备预装的Docker容器中间件，可以将基于同样AI中间件的应用模型，分发流量由平均2G下降到小于1G。
为了搭配IoT EIDP的软件平台，我们还提供了运行边缘AI的硬件，支持灵活VPU算力和多达16路1080P的视频编码、解码，保证用户快速地实现边缘AI的能力。
IoT EIDP 可以让客户方便地创建边缘节点、选购各类AI算法模型、发布自有 AI 模型或二次开发应用、并通过云端控制台一键部署至边缘侧，让物联网数据处理响应更快速、带宽要求更低，进一步节约客户运维成本。
Q&A
Q：平台是否提供公开的算法模型
A：提供，目前我们已经上线了15个模型，之后我们还会开放生态，欢迎各厂家和个人开发者自己上传模型。
Q：一个盒子可以支持多个模型吗？
A：可以，因为是基于OpenVino的，OpenVino天然的调度框架就支持多个模型。
关注“腾讯云大学”公众号，回复【加群】进入交流群腾讯云大学是腾讯云旗下面向云生态用户的一站式学习成长平台。腾讯云大学大咖分享邀请行业技术大咖，为你提供免费、专业、行业最新技术动态分享。
