序言部分讲到在人工智能界一直有一个说法,认为机器学习是人工智能领域最能够体现智能的一个分支。
人工智能经历了符号学习、统计学习、机器学习、深度学习的发展,其中的关系可以用下面的图来理解。
序言中提出了多个问题:
一是符号学习是否还有一席之地,是否还有发展的空间?
把统计技术和对认知结构的深刻理解结合起来
二是统计机器学习不会一路顺风。
因为统计机器学习算法是基于样本数据独立同分布的假设,但真正的独立同分布太少了,是否一定需要独立同分布,可否无独立同分布机器学习?序言作者提出迁移学习或许会对这个问题有所作用,虽然现在的迁移学习要求迁移双方独立同分布,但是不同分布之间的迁移学习,同分布和异分布之间的迁移学习早晚会出现。
三是深度学习等新动向的发展,真的有实际上的贡献吗?因为硬件的发展,使得人们可以尝试用复杂度更高的算法,得到比过去更加精细的结果,这对于推动应用于实践有重大意义,但是深度学习的理论创新还不够,其次深度学习主要适用于神经网络,应用范围还是有限。
四是只有统计方法可以用在机器学习应用方面吗。在符号方法到统计方法的演变过程中,主要用到的是概率统计,除了统计方法,其它分支也有应用,但都是配角。如微分几何在流形学习上的应用,微分方程在归纳学习上的应用。代数虽然应用的广,但是只是”打工的“,抛头露面的是概率和统计,埋头苦干的是代数和逻辑。但是也有数学方法为主,统计方法为辅的机器学习理论,如流形学习,如倒排随机微分方程理论之预测金融走势。
五是符号时代以离散方法处理问题,统计时代以连续方法处理问题,那这两种方法之间应该没有一条鸿沟。流形学习中的李群、李代数方法的引入是一个很好的启示。在一些论文中直接把任意数据看成微分流形,就继续下面的操作了,还是不够严谨呀。
六是大数据。大量的数据,是否给机器学习带来本质的影响?现在的方法与以前是否有因为大数据的影响有什么本质的不同?大数据时代应该什么样的机器学习方法更有效?