[005]frameworks/ml引发的思考

2020-06-08 10:44:35 浏览数 (1)

开篇

Android P上介绍了那么多有关AI的功能,但是真正看起来,Android上AI还处于初级阶段,Android 8.0之后的源码中有一个新增目录:frameworks/ml,ml是机器学习的缩写,这个目录的级别非常高,等同于frameworks/base

frameworks/ml的目录

目前frameworks/ml下只有nn目录,nn应该是Neural Networks(神经网络)的缩写,也就是说目前Android P目前只支持神经网络API
下面是Android Neural Networks API的介绍

总结: 1.目前只有NDK接口,没有JAVA接口,APP要用,只能通过JNI的方式使用。 Android Neural Networks API的App使用demo https://github.com/googlesamples/android-ndk/tree/master/nn_sample/app/src/main

2.目前Android Neural Networks API只实现了CPU的版本,并没有实现基于神经网络DSP或GPU的硬件加速,定义了HAL接口,需要平台或者硬件厂家去实现。

TensorFlow Lite和Android Neural Networks API的关系

TensorFlow Lite is TensorFlow’s lightweight solution for mobile and embedded devices. It enables on-device machine learning inference with low latency and a small binary size. TensorFlow Lite also supports hardware acceleration with theAndroid Neural Networks API. 简单的翻译一下: TensorFlow Lite是TensorFlow的轻量级的解决方案,用于移动手机和可穿戴设备,它可以在设备上以低延迟,小体积的方式来实现机器学习的接口,TensorFlow Lite支持硬件加速,通过Android Neural Networks API实现。

下图是TensorFlow Lite的结构图,可以知道TensorFlow Lite的安卓版本,底层实现会调用Android Neural Networks API,但是Android并不希望大家直接使用Android Neural Networks API,比较难用,容易出错,建议开发者通过类似TensorFlow Lite的ML库间接地调用Android Neural Networks API。

用一张图来表示Android Neural Networks API

APP:使用Tensorflow lite的应用 Framework:Tensorflow lite这类的ML库 Native Framework:Android Neural Networks API HAL:厂家根据Android Neural Networks API定义的HAL文件实现的硬件加速

思考

当我看到这个图的时候,我内心还是很兴奋的,除了对Android AI 的期待,更重要的是作为程序员能看到一个这么重要的模块从无到有的过程,而且整个功能贯串HAL-Native-Framework-APP,非常有助于程序员对整个Android架构设计的理解,通过对Android架构的学习,我感觉开发一套基于linux的手机操作系统并没有想象中的那么不可能,假如Android收费了,假如中美冷战了,说不准国人也会做出一款手机操作系统,那时候我相信我们Android程序员也不会被淘汰,因为操作系统的思想都差不多。

补充

仔细看了一下Android Neural Networks API的CPU实现,发现其中调用了大量Tensorflow lite的接口,所以我初步判断Android Neural Networks API的CPU实现就是调用Tensorflow lite的CPU实现,说完这句话,大家可能都有点绕晕了,前面说TensorFlow Lite安卓版本底层实现是调用Android Neural Networks API,这里又说Android Neural Networks API的CPU实现就是调用Tensorflow lite的CPU实现,到底谁调用谁的?

是不是有点懵,让我来编个故事,讲给大家听:

故事可能是这样子的,tensorflow lite项目初期要实现了一个基于CPU的矩阵的加法,但是由于CPU无法高效的并行运算,矩阵的加法效率并不高,tensorflow lite的高级工程师说可以优化,他通过代码的优化,让基于CPU的矩阵加法比我等初级工程师更加高效,过了一段时间,Android工程师说我们要在Android 8.0上发明一套ANN API框架,然后让硬件厂家来实现硬件加速,顺便告诉tensorflow lite工程师,以后你先判断一下手机上有没有ANN API框架,如果有,就调用ANN API框架来硬件加速计算矩阵加法,如果没有就调用你写的那套牛逼的CPU实现的矩阵加法。tensorflow lite工程师说这么棒,赶紧让tensorflow lite安卓版本的SDK基于ANN API框架实现了矩阵加法。正当Android工程师非常开心的时候,突然想要假如手机平台上显示有ANN API框架,但是这个手机OEM厂家并没有实现硬件加速,那不是坑了tensorflow工程师,所以必须写一个基于CPU版本的矩阵加法优化算法,正当Android工程师不知道怎么写的时候,Android工程师突然想到可以偷偷把tensorflow lite的工程师基于CPU实现矩阵加法的算法挪过来,然后作为一个CPU版本的虚拟硬件加速器不就好了嘛,机智如我

这里有一篇类似的介绍文档:https://blog.csdn.net/zhaizu/article/details/79416625

0 人点赞