最新 最热

「EMR 开发指南」之通过 Java 连接 Hivesever2

Hive 中集成了 Thrift 服务。Thrift 是 Facebook 开发的一个软件框架,它用来进行可扩展且跨语言的服务的开发。Hive 的 HiveServer2 就是基于 Thrift 的,所以能让不同的语言如 Java、Python 来调用 Hive 的接口。对于 J...

2023-11-21
1

「EMR 运维指南」之 HiveServer2 启用 Custom 鉴权

HiveServer2 服务默认不启用鉴权功能,这样的话随意输入密码都能连接上,容易造成安全隐患,下面讲解下如何配置Hiveserver2 的 Custom 鉴权。这里已经编写好鉴权类代码,所以这里侧重讲配置,代码 Jar 包可以通过私信提供。...

2023-11-20
2

Hive 跨文件系统存储数据

Hive指定表的存储路径: hive可以在创建表的时候通过location指定表的存储路径,若不指定localtion则文件默认存储在hive-site.xml配置文件中hive.metastore.warehouse.dir配置项指向的路径。 此外,Hive的分区表还可以指定...

2023-11-20
2

hadoop使用简介

hadoop源码地址:https://gitee.com/CHNnoodle/hadoop.git git clone错误:

2023-10-29
3

0基础学习PyFlink——模拟Hadoop流程

学习大数据还是绕不开始祖级别的技术hadoop。我们不用了解其太多,只要理解其大体流程,然后用python代码模拟主要流程来熟悉其思想。 还是以单词统计为例,如果使用hadoop流程实现,则如下图。...

2023-10-23
1

hadoop记录 - 乐享诚美

RDBMSHadoop Data TypesRDBMS relies on the structured data and the schema of the data is always known.Any kind of data can be stored into Hadoop i.e. Be it s...

2023-10-18
1

Hadoop

hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slaves

2023-10-17
1

23 Jul 2018 centos安装hadoop

如果系统没有安装java,下载相应java版本进行安装,然后设置java相关环境变量即可。

2023-10-17
1

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

2023-10-17
3