众所周知,深度神经网络模型被广泛应用在图像分类、物体检测,目标跟踪等计算机视觉任务中,并取得了巨大成功。
随着不同场景的需求变得更加多样,越来越多的IoT设备和场景需要与数据采集点以最接近的低时延来进行决策和操作;另外IoT物联设备生成的数据量通常很大,由于运营成本、时间和隐私方面的考虑,移动和存储所有生成的数据不太可行。
AI技术的一个趋势是在设备端上部署高性能的神经网络模型,并在真实场景中实时运行。如移动端/嵌入式设备,这些设备的特点是内存资源少,处理器性能不高,功耗受限,这使得目前精度最高的模型根本无法在这些设备进行部署和达到实时运行。
存储空间和算力资源的限制,使得神经网络模型在移动设备和嵌入式设备上的存储与计算仍然具有巨大的挑战。
边缘深度学习:设备端推理技术
如果我们对神经网络模型进行特殊处理,而几乎不怎么影响模型的推理计算精度,则使得设备端的推理变为可能。
事实上,目前已经有较为成功的设备端推理技术,来实现边缘智能。一些技术已经在各种各样的芯片和嵌入式设备上应用并产生巨大经济价值。
神经网络剪枝
深度压缩
数据量化
低秩估计
*以上为常用的几个端设备推理算法技术
边缘AI技术到底有多火爆
IDC公司预测,到2025年,物联网设备数量预计将超过560亿台。MarketsandMarkets则表示,2020年全球边缘计算市场规模约为36亿美元。
预计到2025年将增长到157亿美元,复合年增长率达到惊人的34.1%。
在边缘的用例以及对经济的影响将变得巨大。EdgeAI可用于监视和监控目标、自动驾驶车辆、智能扬声器和工业物联网。而像新冠肺炎等流行病则加速了边缘计算的应用。
麦肯锡预测,到2025年,仅涉及物联网(IoT)应用的用例所产生的经济价值将在每年3.9万亿美元至11.1万亿美元之间。
为了全面系统的培养高性能神经网络人才,贪心学院重磅推出《高性能神经网络与AI芯片应用研修课程》,为想进入边缘AI行业的同学们提供一个可以大幅提升自身就业竞争力的选择。
本课程会讲解边缘AI相关知识、高性能网络设计、通用芯片及专用芯片计算加速方法等专业技能,并结合优秀编译器的架构和实现细节的讲解,为学生构建高性能AI算法的软硬件视角,能够解决应用落地时神经网络的优化和部署相关问题。