最新 最热

深入浅出学大数据(二)Hadoop简介及Apache Hadoop三种搭建方式

此系列主要为我的学弟学妹们所创作,在某些方面可能偏基础。如果读者感觉较为简单,还望见谅!如果文中出现错误,欢迎指正~

2021-09-29
1

一起揭开 Hive 编程的神秘面纱

Hadoop实现了一个特别的计算模型,就是MapReduce,可以将我们的计算任务分拆成多个小的计算单元,然后分配到家用或者服务器级别的硬件机器上,从而达到降低成本以及可扩展的问题,在这个MapReduce计算模型底下,有一个分布式文件...

2021-09-29
1

Hive全库数据迁移方案

考虑到多数场景是迁移整个Hive数据库,该篇文章只介绍迁移的第二种,即元数据及Hive数据全量迁移。

2021-09-26
1

基于Kerberos+Ldap复合认证的大数据权限

关于Kerberos与Ldap两个方案,此处就不再赘述,分别参考我的另外两篇文章:

2021-09-26
1

万字长文|Hadoop入门笔记(附资料)

大数据迅速发展,但是Hadoop的基础地位一直没有改变。理解并掌握Hadoop相关知识对于之后的相关组件学习有着地基的作用。本文整理了Hadoop基础理论知识与常用组件介绍,虽然有一些组件已经不太常用。但是理解第一批组件的...

2021-09-26
1

如何获取Yarn和Spark UI界面指标信息

ip和port:Yarn ResourceManager active节点的ip地址和端口号

2021-09-24
1

万字长文|Hadoop入门笔记(附资料)

大数据迅速发展,但是Hadoop的基础地位一直没有改变。理解并掌握Hadoop相关知识对于之后的相关组件学习有着地基的作用。本文整理了Hadoop基础理论知识与常用组件介绍,虽然有一些组件已经不太常用。但是理解第一批组件的...

2021-09-24
1

非结构化数据怎么存?——开源对象存储方案介绍

过去的相当长的一段时间里,商用对象存储占据了市场上的大量的份额。国外的Amazon S3,国内的阿里云OSS都成为了大多数公司的选择。但是构建一个企业级的数据湖(包括结构化和非结构化数据)已经成为了越来越多公司的目标。那...

2021-09-24
1

非结构化数据怎么存?——开源对象存储方案介绍

过去的相当长的一段时间里,商用对象存储占据了市场上的大量的份额。国外的Amazon S3,国内的阿里云OSS都成为了大多数公司的选择。但是构建一个企业级的数据湖(包括结构化和非结构化数据)已经成为了越来越多公司的目标。那...

2021-09-22
1

【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇

2021年初的时候,关于Hadoop要退休淘汰的PR文章甚嚣尘上。其中MapReduce思想最为人所诟病,因为其并不友好的写代码方式,高昂的维护成本以及较差的运行效率。...

2021-09-18
1