2018年12月23日看到了一片文章,标题是《人工智能一定需要大数据吗?未必!》,原文链接:https://mp.weixin.qq.com/s/DkMNX6NHsuCeO_i-20lUMA。真的未必么,这中间是不是还有什么没有说清楚的东西呢?文中的观点基本上就是标题的说法。但是,未必与否,这里是需要辨证地看的。
为什么这么说呢?
因为,任何数据积累到一定程度,都会变成一个结果:数据量巨大。嗯,很多年前IT业内曾经批评我十六年前的老公司没有大数据,有的只是数据量巨大,具体是哪家公司我就不多说了。
大数据到底是什么,这里不想多说,写过的人太多,青润这里只能说一句话:数据量大到一定程度的,并且经过格式化规范化处理后可以用于分析、挖掘和各种计算使用的数据就是大数据。
那,结果呢,人工智能积累的数据需要几个方面,我们用其中目前接触相对较多的识别技术来讲述一下会比较合适,了解青润的人都知道,青润再2005年第二次进入中科院做的就是人脸识别和行为分析方面的研究和产品。
识别,就需要考虑到下面几点:
1、样本数据的采集;
2、样本数据的标定;
3、样本数据的自我检验;
4、基于样本数据的模型构建;
5、构建样本的特征码库;
识别过程是这样的:
6、进行目标数据采集;
7、基于模型构建获取的特征提取算法进行特征提取;
8、进行目标特征码和样本特征码的对比,并根据对比的异或数据得到结果;
于是基本的过程结束了,下面是增值和演进过程:
9、采集新的数据,并进行同样模型的特征提取,然后进行特征对比,获得识别结果。
10、 随着时间的演变,每一个被检验目标都会发生变化,人会从小孩变成成人然后变成老人,各种材料会衰变老化(比如一些重要设备的重要部件在发生重大事故时要检测是不是原来的部件,是不是因为老化造成的,是不是被人为破损或者替换了的时候都需要这个),这时候,就产生了一种模型的演进算法,也可以称之为疲劳算法。
11、 而为了确保目标的有效性,还有一种活体检测技术也随之而产生了,现在看到的各银行和支付宝等做的让你眨眨眼,扭扭头,张张嘴的动作,就是为了活体检测,但是,这其实是外行在做的活体检测技术。2005年以前的人脸识别研究人员都知道,用眼球的反光点作为活体检测是最有效的,而且是最不容易被破解的,或者说是无法破解的,而目前这些转头之类的动作只需要一张硅胶皮就可以被轻松破解掉。
随着数据获取的越来越多,原本的机器学习算法演进成了深度学习算法的过程,于是上面的流程也得到了改变,改变后的结果基本上都是这样的:
1、样本数据的采集;
2、样本数据的标定,第二次循环到这里时将采用自动标定,根据计算的验证结果改进标定算法;
3、样本数据的自我检验;
4、基于样本数据的模型构建;
5、构建样本的特征码库;
6、自动抓取获得网络上的各种数据源样本,或者基于自己的推演得到新的数据样本,并基于数据源的数据完成新的模型采集过程,然后不断自己重复上面2-6的过程;
识别过程是这样的:
7、进行目标数据采集;
8、基于模型构建获取的特征提取算法进行特征提取;
9、进行目标特征码和样本特征码的对比,并根据对比的异或数据得到结果;
于是基本的过程结束了,而很多新入行的所谓模式识别程序员不了解过去对目标特征的验证技术,于是只能考虑看上去似乎更为简单的活体验证手段或者他们自认为更好的演进手段,于是形成了下面的方式:
10、 采集新的数据,并进行同样模型的特征提取,然后进行特征对比,获得识别结果。
11、 而大部分公司其实不懂得需要设计疲劳算法,因为他们的数据太新,还没有到需要考虑疲劳衰变问题的阶段,这对于他们来说,都是未来模型需要被再次重建的必然,同样较好的疲劳算法也是无法从opencv上直接获得的,这也在一定程度上证明了,他们还没有到大数据的层面,仅仅是单一层面的数据量巨大而已;
12、 而为了确保目标的有效性,还有一种活体检测技术也随之而产生了,现在看到的各银行和支付宝等做的让你眨眨眼,扭扭头,张张嘴的动作,就是为了活体检测;
13、 11-12的过程采用了更多的手工标定,因为他们不知道如何设计出更好的机器标定算法,或者说,最好的标定算法他们无法从opencv上获得,只能采用这种原始的手工标定方式。
据青润得到的信息,某个某年刚刚拿到十多亿美元的某人工智能公司,某一段时间内的人工标定费用是以千万投入来计算的,具体是哪家公司就不方便明说了。
随着深度学习的应用,数据量越大,就越不是负担,而是精度更高的算法模型的实现过程,因此,大数据已经成为人工智能的必然导向结果,而且大数据的有效数据总量越大,就意味着结果的精度越高。
当然,这种结果精度越高的有效数据总量,一定是有一定衡量方式的,绝不是什么数据拿过来都可以用的,这一点必须区分,很多公司为了盲目吹自己是大数据而不加区分的片面强调自己的数据量巨大,这是不对的,也是一种错误的导向方式,换句话说,除了蹭热点,并没有其他任何价值,这也是需要技术人员也包括投资机构应该看明白的地方。
今天是西方的圣诞节,表达一个个人观点,任何节日都可以过,但是,尽量让节日过得有些意义,不要糟蹋东西就好。
本文图片是2005年青润拍摄的光斑图用来做图像分析处理。