最新 最热

Hadoop分布式文件系统(HDFS)

HDFS (Hadoop Distributed File System)是 Hadoop 下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。

2021-03-23
0

记录docker开发hadoop,解决bug Datanode denied communication with namenode because hostname cannot be

使用docker快速开发了一个单节点的hadoop 首先去docker hub上搜索hadoop

2021-03-22
0

2021年最新鲜的面试题整理:亿信华辰

我们VIP成员很多在2021年春节年前、后,拿到了offer。而且不止一个,有的两个,有的四个,有的六个。这里给我们分享其中一位成员,整理的一家公司的面试题,后续将会陆续发布。...

2021-03-22
1

Hive安装步骤及HQL使用学习

Hive是一个使用类SQL管理分布式存储上大规模数据集的数据仓库,它提供了命令行工具和JDBC驱动程序帮助用户使用Hive。

2021-03-21
1

第1天:PySpark简介及环境搭建

Apache Spark是Scala语言实现的一个计算框架。为了支持Python语言使用Spark,Apache Spark社区开发了一个工具PySpark。利用PySpark中的Py4j库,我们可以通过Python语言操作RDDs。...

2021-03-16
1

大数据高速计算引擎Spark

从狭义的角度上看:Hadoop是一个分布式框架,由存储、资源调度、计算三部分组 成; Spark是一个分布式计算引擎,由 Scala 语言编写的计算框架,基于内存的快速、通 用、可扩展的大数据分析引擎; 从广义的角度上看,Spark是Hadoop...

2021-03-15
1

大数据各岗位薪资多少?一张图告诉你答案

目前,借由大数据时代的高速发展,它的岗位需求开始迅速扩张,从而给想从事大数据行业的人带来了大量的发展机会,同时也为大家提供了大量的职业发展通道。那么,在这个高速运转的时代,面对如此众多的大数据就业岗位的时候,我们应...

2021-03-15
1

Apache四个大型开源数据和数据湖系统

管理大数据所需的许多功能是其中一些是事务,数据突变,数据校正,流媒体支持,架构演进,因为酸性事务能力Apache提供了四种,用于满足和管理大数据。...

2021-03-14
1

基于prometheus与grafana搭建fsimage解析监控(1)

1、获取fsimage信息,对于超级小的集群,或者是文件数较少的集群可以用命令获取。

2021-03-11
1

使用Ranger对Kudu进行细粒度授权

在2017年,当Kudu作为CDH的一部分首次引入时,它不支持任何形式的授权,因此仅满足空白且不需要安全的用例。在CDH 5.11(Kudu 1.3.0)中添加了粗粒度的授权和身份验证,这使得可以仅对可以应用Apache Sentry策略的Apache Impala...

2021-03-09
0