大数据时代个人学习篇

2020-04-11 20:40:33 浏览数 (1)

众志成城抗击疫情,不要出门,在家学习,共度难关。

牛津大学职业研究分析报告可以看到,大数据智能时代首先取代的是比较有规则的职业,如重复性、机械性的会被淘汰,终身学习、人文沟通、信息化与数字化、智能协作等方面的能力将越来越重要。

最近几年不少朋友咨询如何学习大数据技术?大数据如何入门?怎么做大数据分析?数据科学需要学习哪些技术?大数据的应用前景如何等问题,由于大数据技术涉及的内容庞杂,应用领域广泛,而且各个领域采用的关键技术差异性也比较大,所以回答上述问题也是仁者见仁,智者见智。

以下是笔者依据行业经验来谈谈到底如何学大数据智能技术,供大家参考:

不推荐使用类似“盲人摸象”的技术学习路线:大数据技术生态体系十分庞杂,基础技术覆盖数据采集、数据预处理、数据脱敏、分布式计算、NoSQL数据存储、多模式(离线、实时、流、内存)计算、多模态(图片、视频、音频、文本)数据处理、并行计算、数据仓库、数据挖掘、机器学习、深度学习、数据可视化等各个层次,应用场景更是涉及行业的各个层面。

“3 3”学习路线

学习大数据不能像炒菜一样,等到把所有材料都准备好了才下锅。一是技术体系庞杂、二是应用目标广泛、三是实战性较强,就算学习多年也难说全面掌握。建议初学者结合自己的兴趣或工作、项目需求,找一个点深钻进去,掌握这个点的相关技术和算法,深入理解其原理、应用和评价等环节,搞透一个点之后,再以点带面,举一反三,逐步覆盖大数据的各个领域,从而掌握完整的技术知识和应用经验,这是学习大数据技术的关键。

一、学习的3个阶段:把握技术发展的时间线,在学习的不同的阶段应该有侧重。

1、数据的管理和融合阶段:这是大数据的基础,重点是大数据基础设施的建设,核心目标是要把大数据存起来、管起来、用起来。如涉及基础框架,如Hadoop、Spark、OpenStack。还涉及很多技术细节,如数据采集、清洗、隐私、脱敏等预处理、数据抽取、转换、集成、融合及数据安全等管控。

2、基础描述性分析阶段:主要完成数据分析工作,如商用智能、数据挖掘、专家系统,主要目标是实现离线或在线对历史数据进行全局条件下的基本描述统计分析,对大数据进行海量存储条件下的交互式查询、汇总、统计和可视化。需掌握的技术如数据挖掘、多维OLAP分析和数据可视化。

3、智能学习预测阶段:主要完成大数据智能高级预测分析和生产部署。采用如人工智能、深度学习、强化学习等适用于海量数据处理的智能机器学习模型,进行高级预测性学习和反馈,最终目标是想Google大脑、百度计划、AlphaGo一样落地,涉及主要开源机器学习框架如TensorFlow、Keras、Pytorch等。

二、学习的3种方法:应用导向是关键。

1、像学校教学或培训机构大纲一样,恨不得把所有大数据方方面面的技术都写上,要避免这样的学习方式,毕竟我们不可能靠突击,在一夜之间成为数据科学家,即使学生在有限的时间内也只能系统的掌握几门课程。

2、从核心技术的角度进行突破,从数据科学、机器学习、大数据管理、认知计算、深度模型、Hadoop、TensorFlow等中选择一个点深挖,快速成为一个细分领域的技术专家,这是极小数极客型技术高手最喜欢的套路,但这对编程和算法分析、系统架构等方面的能力要求极高,没有多年的设计研发经验很难快速上手。

3、从快速应用角度入手,以问题为导向,快速设计原型系统,从问题分析、系统架构、编程设计实现等方面迭代完成一个小的项目,再对其核心技术环节的原理、思想及设计等做系统的研究。

以上三种学习方法总结:第一种方式不可取,敷“万金油”样样都学但很难深入,谈不上精通,而且很多情况是时间有限、条件不允许。第二种方式稍好,但问题是技术包罗万象,要系统的掌握一门技术必定要花费很长时间,一门技术架构说不定还没完全掌握就快过时了,所以学习要以应用为导向,因为技术只是工具,解决问题才是关键,其核心就是要解决问题,搞清楚问题之后,技术的选型、技术路线的确定和技术学习才能有的放失,所谓纲举目张,就是这个意思。

三、几点经验分享:

1、要业务驱动,不要技术驱动。

2、要以点带面,不要贪大求全。

3、要善用开源技术,不要重“造轮子”。

4、要勇于实践,不要纸上谈兵。

四、核心职业角色:

1、数据分析师:重在业务理解和探索。

2、数据工程师:重在数据管理和系统实现。

3、数据科学家:重在解决问题和统筹决策。

0 人点赞