最新 最热

大数据入门:Hadoop是如何工作的?

海量数据价值的挖掘,需要大数据技术框架的支持,在目前的大数据平台搭建上,Hadoop是主流的选择之一,而精通Hadoop的大数据人才,也是企业竞相争取的专业技术人才。大数据技术Hadoop所得到的重视,也带来了大家对Hadoop的学习热...

2021-07-06
0

Hadoop和spark:兼容才是可靠的解决方案

说起大数据计算框架,Hadoop和Spark这两者之间,一直都是存在着争议的,甚至一度还出现了Spark会替代Hadoop的声音,但是随着这两年的发展,事实告诉大家,Hadoop和Spark这两者之间,谁也没有消灭谁,都好好地存在着。...

2021-07-05
0

大数据开发:常用的四种消息队列对比

对于消息队列组件,在大数据技术生态当中,是有着多种解决方案的,在实际的开发任务当中,往往需要根据具体的需求,去规划解决方案。今天的大数据开发学习分享,我们主要来讲讲常用的四种消息队列的对比。...

2021-07-02
0

数据仓库设计和规范—数仓分层和规范

通常的命名方式是:ODS_应用系统名(或缩写)_数据库类型_(数据库名称可省略)_数据表名_加载方式(增量还是全量),表名不能太长,一般不超过30字。如:...

2021-07-02
0

大数据开发:Hadoop HDFS安全模式

HDFS作为Hadoop框架下的分布式文件系统,其中包括的知识点是非常繁杂的,尤其在理论学习阶段,如果不多花点时间学透彻,在后续的学习当中也会拖累学习进度。今天的大数据开发学习分享,我们就来讲讲Hadoop HDFS安全模式相关的...

2021-07-01
0

数仓设计和规范—数仓构建流程

② 维度:维度是度量的环境,是我们观察业务的角度,如时间,地点等,用来反映业务的一类属性 。其中描述维度的是 属性,即维度属性,是查询约束条件、分组和报表标签生成的基本来源,是数据易用性的关键。③ 度量:度量是指标产生的...

2021-07-01
0

大数据开发:MapReduce排序和合并机制

MapReduce作为Hadoop的核心计算引擎,算是学习当中必学的一个部分。虽然发展至今,MapReduce计算框架已经很少直接使用了,但是作为分布式并行计算的代表,还是值得学习。今天的大数据开发学习分享,我们就主要来讲讲MapReduce...

2021-06-30
0

大数据入门:Spark是否依赖Hadoop?

犹记得,Spark在2013年才开始陆续传到国内,而再此之前,大数据领域可以说是Hadoop的天下。但是仅在一年多左右的时间,Spark就迅速成为了新一代的大数据框架的选择,光环甚至一度超过Hadoop,而关于Hadoop和Spark的争议,也一直没...

2021-06-29
0

大数据开发:Hadoop序列化入门

作为大数据技术生态当中的第一代框架,Hadoop至今仍然具有不可替代的核心优势,对于企业而言,Hadoop在底层架构上所提供的支持,仍然是企业入场大数据的重要支持框架。今天的大数据开发学习分享,我们就主要来讲讲Hadoop序列化...

2021-06-28
0

大数据入门:Hadoop核心设计思想

在面对大批量的数据处理任务的时候,Hadoop已经成为稳定高效的平台框架选择,Hadoop在大数据处理上得到重用,那么就代表着想要从事大数据行业的我们,也需要对于Hadoop有足够充分的认识和掌握,今天的Hadoop入门学习,为大家分享...

2021-06-25
0