最新 最热

如何构建、部署运行Flink程序

Flink程序一般的开发步骤 构建完成Flink程序之后就可以开发程序了,开发一个Flink程序的一般步骤:

2022-12-01
1

Hive常见的属性配置

默认配置文件:hive-default.xml用户自定义配置文件:hive-site.xml

2022-12-01
1

jar包在Hadoop集群上测试(MapReduce)

本片使用MapReduce——统计输出给定的文本文档每一个单词出现的总次数的案例进行,jar包在集群上测试 1、添加打包插件依赖 <build> <plugins> <plugin> <artifactId>maven-compil...

2022-12-01
1

Hadoop的安装与配置——设置单节点群集

1、本系列以Ubuntu Linux作为开发和生产平台 2、Linux所需的软件包括:

2022-12-01
1

日常问题——pdsh localhost Connection refused

原因是pdsh默认采用的是rsh登录,修改成ssh登录即可,在环境变量/etc/profile里加入:

2022-12-01
1

日常问题———Attempting to operate on hdfs namenode as root

写在最前注意: 1、master,slave都需要修改start-dfs.sh,stop-dfs.sh,start-yarn.sh,stop-yarn.sh四个文件 2、如果你的Hadoop是另外启用其它用户来启动,记得将root改为对应用户...

2022-12-01
1

日常问题——初始化Hive仓库报错com.google.common.base.Preconditions.checkArgument

初始化Hive仓库报错Exception in thread “main” java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

2022-12-01
1

Hadoop的目录结构

-rw-r--r--@ 1 marron27 staff 106210 10 23 2019 LICENSE.txt-rw-r--r--@ 1 marron27 staff 15841 10 23 2019 NOTICE.txt-rw-r--r--@ 1 marron27 staff 1...

2022-12-01
1

Hadoop的安装及配置

1、Hadoop安装前准备工作: 在开始Hadoop安装与配置之前,需要准备的环境:Linux系统、配置JDK环境变量。

2022-12-01
1

初识Hadoop:大数据与Hadoop概述

大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。...

2022-12-01
1