最新 最热

大数据集群搭建之Linux安装hadoop3.0.0

https://www.apache.org/dyn/closer.cgi/hadoop/common

2021-04-27
1

hadoop集群动态扩展节点

2、修改 /etc/sysconfig/network-scripts/ifcfg-ens33 文件

2021-04-27
1

CDH报错:Resource management is disabled for host cdh03 but at least one of its roles has cgroup parame

(4)进入配置选项,找到 "启用基于 Cgroup 的资源管理" 选项,勾选 - 保存 - (每一台主机)

2021-04-27
1

win10搭建hive3.0.0

win10安装Hadoop3.0.0:https://blog.csdn.net/qq262593421/article/details/105927625

2021-04-27
1

win10搭建hadoop和spark

jdk8-x64:https://www.oracle.com/java/technologies/javase-jdk8-downloads.html

2021-04-27
1

Hive 六种存储格式

AVRO、ORC、PARQUET、RCFILE、SEQUENCEFILE、TEXTFFILE

2021-04-27
1

MapReduce读取文本,实现降序排序

1、Maven导入hadoop-client包org.apache.hadoophadoop-client2.7.32、core-site.xml文件配置fs.defaultFSfile://34455/使用Windows系统下的磁盘3、log4j.properties 文...

2021-04-27
1

关于集群小文件治理思路

遇到集群小文件的问题大概是2018年那会,当时我维护一个600多台节点的cdh集群,当时文件数大概不到一个亿,具体多少已经记不清楚了。

2021-04-27
1

Hadoop 命令操作大全

文件系统(FS)Shell 包括各种类似于Shell 的命令,这些命令可直接与Hadoop分布式文件系统(HDFS)以及Hadoop支持的其他文件系统(例如本地FS,HFTP FS,S3 FS等)进行交互。 FS Shell通过以下方式调用:...

2021-04-27
1

大数据集群基本调优总结01

今天是2021年的4月25日,2015年参加工作,到现在有6年了,前段时间做了个决定,离职休息一段时间,趁着休息把以前学过的,用过的,以及涉及不深的好好学习总结下。(以下总结都是基于CDH集群)...

2021-04-25
1