最新 最热

centos6环境下使用yum安装Ambari

Ambari是apache下面的开源项目,主要通过web UI方式对Hadoop集群进行统一创建和管理,以节省Hadoop集群的运维成本。本文通过安装过程中的截图简要介绍一下相关步骤供需要的朋友参考。...

2022-08-09
0

hdfs常用操作命令

先说一下”hadoop fs 和hadoop dfs的区别”,看两本Hadoop书上各有用到,但效果一样,求证与网络发现下面一解释比较中肯。

2022-08-09
0

hadoop集群老的资源管理Mrv1与Yarn资源管理器的工作流程和对比

2、JobTracker负担重,既要负责资源管理,又要进行作业调度;当需处理太多任务时,会造成过多的资源消耗。

2022-08-09
1

Windows环境部署并调试pyspark(一)

windows环境说明:Python2.7 + pipspark版本:spark-1.6.1-bin-hadoop2.6

2022-08-09
1

HDFS Java Client对hdfs文件增删查改

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->

2022-08-09
0

Hadoop之倒排索引

前言:  从IT跨度到DT,如今的数据每天都在海量的增长。面对如此巨大的数据,如何能让搜索引擎更好的工作呢?本文作为Hadoop系列的第二篇,将介绍分布式情况下搜索引擎的基础实现,即“倒排索引”。...

2022-08-09
1

Hadoop实战第一篇

前言:   都说现在是草根为尊的时代,近年来hadoop及spark技术在国内越来越流行。而且渐渐现成为企业的新宠。在DT时代全面来临之前,能提早接触大数据的技术必然能先人一步。本文作为Hadoop系列的第一篇,将HDFS和MapRed...

2022-08-09
1

ClickHouse的副本以及分布式表的创建(九)

副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以从 其他服务器获得相同的数据。

2022-08-09
1

Zookeepr分布式集群搭建

zookeeper下载:http://mirror.bit.edu.cn/apache/zookeeper/

2022-08-08
1

RedHat 6.8 搭建 Hadoop 集群

#授予权限 chmod 700 hadoop-2.7.7.tar.gz ​ #解压到当前路径 [root@node-1 hop]# tar zxvf hadoop-2.7.7.tar.gz ​

2022-08-08
1