前言
大家好,我是程序员Manor,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。
前两天有学妹私信我说,她已经上完大一,大数据专业的,只学过大数据导论,问我大数据该如何入门?我不禁感慨普通高校擅长培养算法人才,但在工程人才的培养上存在很多的问题。
恰好期末考完,在等待回家这段有时间,manor
为大家整理了一份我学大数据学习路线,在B站均能找到视频:
学习路线思维导图:
第一部分大数据技术(离线)
0.快速体验大数据:8天零基础入门大数据
这段课程我是疫情在家学习的,当时黑马线上基础班免费,当时就报名(白嫖 ),能从0开始学习大数据课程,了解linux、kettle、BI、mysql、从基础到实践,快速体验完整的大数据预处理 ETL BI展示全链路过程
缺点是B站上没有给到配套资料,这里安利一下我的公众号:大数据智能ai
基础班的配套资料虚拟机已经更新到公众号了,关注后自行获取即可。
1.掌握一门语言,首选Java
大数据开发有三种语言可选,Java,Python和Scala,Scala后期是必学的,Java在开发中好比是屠龙刀,而Python是随身匕首,适合写写脚本,所以强烈推荐先学Java,这里推荐黑马的Java基础课程视频,
黑马最新JavaSE零基础入门到入土(idea版)
如果学习周期太长的话,只要能完成控制台上的增删改查
就可以了
B站上还有其他视频
例如:
动力节点的JavaSE课程:缺点是用Eclipse讲的
狂神的SE入门课程:优点:学习编程的一些前置知识,相当贴近实战。
2.hadoop零基础学习(HDFS、MapReduce、Yarn、Hive)
Hadoop学习,黑马和尚硅谷两家机构都不错,我这里由于自学的时候主要学了黑马的,便贴出黑马的链接
Hadoop从零到精通完整版
前置知识还要学习Linux,manor
为大家准备好了Linux最全学习笔记:
大数据开发工程师基本功修炼之史上最全Linux学习笔记
另外学有余力,还想进一步提升可学:
新出的hadoop3*0
Hadoop3.0-MapReduce从入门到精通
尚硅谷讲的最新Hive版本
3.Hive离线数仓项目
这里推荐的是黑马的离线项目:
黑马大数据项目——电商流量分析项目实战
缺点是不给配套资料
尚硅谷的离线数仓
尚硅谷的配套资料全,学的人也多
我个人学的是另一个项目,在线教育数仓项目
由于特殊原因视频无法分享,各位可看我写的笔记,自行研究一番
补充:其他的小组件如zookeeper、Flume、Impala和sqoop等建议花2~3个小时自学
这些组件都是工作中不经常用的,建议只花少量的时间学习,快速入门即可
这里贴出部分视频
sqoop
Flume
Azkaban
到此为止,大数据离线阶段就学完了,完结撒花?·?·
我们进入到第二部分大数据离线 实时技术阶段~
第二部分大数据技术(离线 实时)
0.海量数据存储HBase从入门到精通
Hbase公司用的很多,Kudu与其相似
1.消息队列Kafka从入门到精通
大数据必须掌握的缓存中间件
2.大数据-语言-scala
同样是搞大数据开发必学的语言,原因是Spark是基础scala开发的
3.大数据-框架-Spark
4.Spark离线实时项目
学完Spark后,可做一个项目实战检验一下学习成果。
5.大数据-框架-Flink
进阶:
FlinkSQL
Flink源码解析课程
6.Flink实时项目
这也是我将要学的Flink项目,暑假必拿下~
进阶:
推荐系统项目、
机器学习的书籍:稍后为各位整理出来,在我的公众号领取
可适当阅读一些数仓书籍,有益于理论深化
如:
《数据仓库工具箱—维度建模的完全指南》