win10搭建hive3.0.0

2021-04-27 11:33:57 浏览数 (1)

win10安装Hadoop3.0.0：https://cloud.tencent.com/developer/article/1818630

win10搭建hive3.0.0：https://cloud.tencent.com/developer/article/1818598

一、下载hive3.0.0

下载地址： http://archive.apache.org/dist/hive/hive-3.0.0/ 下载文件：apache-hive-3.0.0-bin.tar

二、配置环境变量

1、解压安装包到：D:HadoopHiveapache-hive-3.0.0-bin

2、将apache-hive-3.0.0-bin/conf文件复制一份，改名为conf.template

3、配置hive环境变量

变量名：HIVE_HOME 变量值：D:HadoopHiveapache-hive-3.0.0-bin 变量名：HIVE_CONF_DIR 变量值：D:HadoopHiveapache-hive-3.0.0-binconf

三、添加MySQL驱动包依赖

下载 mysql-connector-java-5.1.47.jar ，添加到 lib目录下

四、启动配置文件

先将 conf 目录备份，再把 conf 目录下的文件后缀 .template 去掉

五、启动 hadoop集群，添加 hive 目录

1、启动hadoop集群：执行 D:HadoopHDFShadoop-3.0.0properties 目录下的 start-all.cmd 脚本

2、cmd 命令行执行以下命令，在 hdfs 上创建目录以及赋权

代码语言：javascript复制
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user
hadoop fs -mkdir /user/hive
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g w /tmp
hadoop fs -chmod g w /user/hive/warehouse

http://localhost:9870/explorer.html#/

五、删除与hadoop冲突的log4j jar包

   将apache-hive-3.0.0-binlib目录下的 log4j-slf4j-impl-2.4.1.jar 改名为 log4j-slf4j-impl-2.4.1.jar.template

六、配置文件配置

先把conf目录备份一份为conf.template，再把conf目录下的 .template后缀去掉

官方网址：https://cwiki.apache.org/confluence/display/Hive/AdminManual Metastore Administration

1、hive-env.sh（添加）

代码语言：javascript复制
# hive hsell 启动JVM的堆栈大小
export HADOOP_HEAPSIZE=1024
# hadoop的安装目录
HADOOP_HOME=D:HadoopHDFShadoop-3.0.0
# hive的配置目录
export HIVE_CONF_DIR=D:HadoopHiveapache-hive-3.0.0-binconf
# hive的lib库目录
export HIVE_AUX_JARS_PATH=D:HadoopHiveapache-hive-3.0.0-binlib

2、hive-site.xml（修改）

代码语言：javascript复制
    hive.exec.local.scratchdir
    D:/Hadoop/Hive/apache-hive-3.0.0-bin/tmp/${system:user.name}
  

  
  
    hive.downloaded.resources.dir
    D:/Hadoop/Hive/apache-hive-3.0.0-bin/tmp/${hive.session.id}_resources
  

  
  
    hive.querylog.location
    D:/Hadoop/Hive/apache-hive-3.0.0-bin/tmp/${system:user.name}
  


  
  
    hive.metastore.schema.verification
    false
  

  
  
    javax.jdo.option.ConnectionURL
    jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true
  

  
  
    javax.jdo.option.ConnectionDriverName
    com.mysql.jdbc.Driver
  

  
  
    javax.jdo.option.ConnectionUserName
    root
  

  
  
    javax.jdo.option.ConnectionPassword
    123456
  

  
  
    hive.server2.thrift.bind.host
    localhost
  

  
  
    hive.metastore.uris
    thrift://localhost:9083
  

  
  
    hive.server2.logging.operation.log.location
    D:/Hadoop/Hive/apache-hive-3.0.0-bin/tmp/${system:user.name}/operation_logs

3、初始化 hive 元数据到MySQL数据库 

将 D:HadoopHiveapache-hive-3.0.0-binscriptsmetastoreupgrademysql 目录下的 hive-schema-3.0.0.mysql.sql 导入MySQL

代码语言：javascript复制
hive --service metastore

4、cmd 执行 hive version

代码语言：javascript复制
hive version
hive

注意事项：

  1. hive的log4j和hadoop的log4j包冲突
  2. jdbc连接需要配置
  3. hive数据库的原数据要配置

hive官方文档

https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-RunningHiveServer2andBeeline

hive apache hadoop javascript https

0 人点赞