体验极致推理性能!30分钟带你快速掌握AI开发与边缘部署

2022-08-31 16:04:59 浏览数 (1)

深度学习经过多年发展,AI 已经深入人心。在图像、文本、视频、语音等领域,AI 已在各行各业落地应用。我们熟知的自动驾驶、语音助手、智能质检,背后就大量运用了 AI 技术。

在AI产业化进程中,如何快捷落地一直是大家关注的问题。边缘开发环节,分散、轻量、低算力、异构多样是常见的基本情况。AI模型数据本身对算力、网络的要求比较高。如何在精度、性能、成本之间取得平衡是AI开发者在边缘部署过程中面临的巨大挑战。

1 五大灵魂拷问

AI 模型端部署难点在哪里?

  • 灵魂拷问一:我的使用场景需要我将模型部署到端上,但是端上开发可能会面向嵌入式设备,操作系统也可能是Android、iOS,有一定的上手成本,怎样才能更轻松地把模型落地到硬件设备上?
  • 灵魂拷问二:这些年出了好多加速芯片、加速卡、边缘计算盒,价格便宜还不占地,我想知道它们跑模型能达到什么样的精度和性能,帮助我进行选型。
  • 灵魂拷问三:我训练好的模型适配XX芯片,要在各种模型格式之间转来转去,有点头大,好不容易模型格式对齐了,又有算子OP不支持,我该怎么办才能让它跑起来?
  • 灵魂拷问四:我想换个芯片,却发现怎么各家芯片的端上推理模型格式都不一样,又得从头适配,模型转起来想想就头大。
  • 灵魂拷问五:费了九牛二虎之力,模型在端上跑起来了,可是速度不是太理想,我想让它跑得更快,更省内存。听说量化、剪枝、蒸馏这方面挺有用,但是好像自己研究代码耗时太久。

2 EasyEdge

提供最广泛的硬件平台适配

上述问题是开发者在端上部署模型时经常遇到的难点,为了解决这些问题,百度推出了EasyEdge端与边缘AI服务平台。通过EasyEdge,开发者可以便捷地将AI模型部署到各式各样的AI芯片和硬件平台上。

大家可以从上图中看到,EasyEdge提供最广泛的硬件和平台适配,30 种AI芯片与硬件平台,4大主流操作系统。

  • 你想把模型部署到Windows PC上?没问题,安排!
  • 发布到手机上?Android还是iOS,随便选!
  • 近期新增了浏览器/小程序部署,也将为广大用户在部署方面提供更多选择!

0 人点赞