第五章 更换cdh版本，hive的安装使用，原理讲解

2022-08-05 08:55:44 浏览数 (1)

大家好，又见面了，我是你们的朋友全栈君。

学过简单的wordcount后就开始使用hive吧

这里先介绍下，怎么设置hadoop的环境变量

提示：始终记得我们是ubuntu操作系统。

这里由于小编的这里在安装hive时，由于出现了启动hive时出现了和hadoop的版本不一致的原因，并且始终没有解决，所以就改变策略使用cdh版本的hadoop和hive.因为cdh版本的比较系统，兼容性好。因此要重新安装了。

下载地址如下：http://archive.cloudera.com/cdh5/cdh/5/

安装前先卸载之前的hadoop.这里卸载也很暴力，直接删掉之前的hadoop的安装目录。然后把下载好的cdh版本的hadoop，安装之前的方式，解压，修改解压后的文件夹目录名为hadoop。修改hadoop/etc/hadoop目录下的四个文件，分别是hadoop-env.sh;core-site.xml；hdfs-site.xml;mapred-site.xml

其中hadoop-env.sh是配置java的安装目录，其余的三个分别如上篇博文配置即可。这里不再详述。最后还有就是设置环境变量，如下。

1，设置hadoop环境变量

当前用户目录下：ls -a

会有个.bashrc的隐藏文件，

vim .bashrc

在文件末尾加入hadoop的安装目录，一级bin和sbin的路径

如下：

export HADOOP_HOME=/home/xiaoye2/hadoop-3.0.0

export PATH=PATH:HADOOP_HOME/sbin:

整体截图如下：

改好之后 执行命令：source ./bashrc

然后

hadoop -version 命令会出现hadoop的版本等信息

2，hive的安装使用

2.1下载安装hive

下载地址，同hadoop一样，也是cdh的。http://archive.cloudera.com/cdh5/cdh/5/

小编下载的是： hive-0.13.1-cdh5.2.0.tar.gz

上传到linux，小编同意下载到Downloads目录下：

tar -zxvf hive-0.13.1-cdh5.2.0.tar.gz ../

mv hive-0.31.1 hive 修改目录名字

给hive设置元数据库，这里我也是使用mysql。所以首先安装mysql数据库吧。这里就不介绍了

然后进入到conf目录：

文件名如下，如果没有就自行创建：

修改hive-site.xml文件，加入一下内容：

代码语言：javascript复制
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://ubuntu:3306/hive?createDatabaseIfNotExist=true</value>
                <description>JDBC connect string for a JDBC metastore</description>
                <!-- 如果 mysql 和 hive 在同一个服务器节点，那么请更改 hadoop02 为 localhost -->
        </property>
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
                <description>Driver class name for a JDBC metastore</description>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
                <description>username to use against metastore database</description>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>root</value>
        <description>password to use against metastore database</description>
        </property>
</configuration>

以下可选配置，该配置信息用来指定 Hive 数据仓库的数据存储在 HDFS 上的目录:

代码语言：javascript复制
   <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>/hive/warehouse</value>
                <description>hive default warehouse, if nessecory, change it</description>
        </property>

然后，一定要记得加入 MySQL 驱动包（mysql-connector-java-5.1.40-bin.jar）该 jar 包放置在 hive 的lib目录下

2，2如同配置hadoop的环境变量一样，设置hive的环境变量。如下：

代码语言：javascript复制
export HIVE_HOME=/home/xiaoye2/hive
export PATH=$PATH:$HIVE_HOME/bin

这样就好了，先启动hadoop。

再 hive 直接启动

按照上图可建基本的表。

2.3建表

hive> create table student(id int,name string); OK Time taken: 0.84 seconds hive> show tables; OK student Time taken: 0.069 seconds, Fetched: 1 row(s) hive>

们在关系型数据库中如果想查看有哪些表必须先指定用哪个数据库，但是我们的Hive就不用，它会默认使用default数据库。

hive> show create table student > ; FAILED: SemanticException [Error 10001]: Table not found student hive> create table student(id int,name string); OK Time taken: 1.152 seconds hive> show create table student; OK CREATE TABLE `student`( `id` int, `name` string) ROW FORMAT SERDE ‘org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe’ STORED AS INPUTFORMAT ‘org.apache.hadoop.mapred.TextInputFormat’ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat’ LOCATION ‘hdfs://localhost:9000/user/hive/warehouse/student’ TBLPROPERTIES ( ‘COLUMN_STATS_ACCURATE’=’false’, ‘numFiles’=’1’, ‘numRows’=’-1′, ‘rawDataSize’=’-1′, ‘totalSize’=’27’, ‘transient_lastDdlTime’=’1522143506’) Time taken: 0.508 seconds, Fetched: 18 row(s) hive>

然后可以hdfs上查看我们刚才建的表：

2.4，放入数据到表中

接下来我们便创建一个student.txt文件并在里面添加几条数据，创建student.txt直接使用命令vim student.txt便可以，然后在里面输入三行内容，然后保存退出。

[root@itcast01 ~]# vim student.txt 1 zhangsan 2 lisi 3 wangwu

接着我们把student.txt文件上传到HDFS系统student目录下，如下所示。

hive> load data local inpath ‘/root/student.txt’ into table student; Copying data from file:/root/student.txt Copying file: file:/root/student.txt Loading data to table default.student Table default.student stats: [numFiles=1, numRows=0, totalSize=33, rawDataSize=0] OK Time taken: 1.796 seconds hive>

操作完毕之后我们到HDFS文件系统查看一下，如下图所示，发现已经有student.txt文件并且文件中的内容与我们输入的内容一致。

我们从hive视图查询一下student表的内容，如下所示。发现查询出来的内容都是NULL，这是因为我们创建表的时候没有指定列与列之间是以什么分割的。有两列NULL是因为我们创建了两个字段。

hive> select * from student; OK NULL NULL NULL NULL NULL NULL Time taken: 1.058 seconds, Fetched: 3 row(s) hive>

我们不妨来试试查询student表中插入元素的数量，如下所示。我们从执行信息中可以看到Hive自动去调用MapReduce去统计我们的数量了，我们根本就没做什么事情。是不是很神奇呢。最后查询的结果是3，完全正确。

hive> select count(*) from student; Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number> In order to limit the maximum number of reducers: set hive.exec.reducers.max=<number> In order to set a constant number of reducers: set mapreduce.job.reduces=<number> Starting Job = job_1478323409873_0001, Tracking URL = http://itcast03:8088/proxy/application_1478323409873_0001/ Kill Command = /itcast/hadoop-2.2.0/bin/hadoop job -kill job_1478323409873_0001 Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1 2016-11-05 14:35:51,757 Stage-1 map = 0%, reduce = 0% 2016-11-05 14:36:01,163 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 1.66 sec 2016-11-05 14:36:11,584 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 2.7 sec MapReduce Total cumulative CPU time: 2 seconds 700 msec Ended Job = job_1478323409873_0001 MapReduce Jobs Launched: Job 0: Map: 1 Reduce: 1 Cumulative CPU: 2.7 sec HDFS Read: 237 HDFS Write: 2 SUCCESS Total MapReduce CPU Time Spent: 2 seconds 700 msec OK 3 Time taken: 35.475 seconds, Fetched: 1 row(s) hive>

既然我们建的student表没有指定列与列的分割符，那么我们接下来再建一张表并且指定分隔符。我们就建一张teacher表吧，建表语句如下。

hive> create table teacher(id bigint,name string)row format delimited fields terminated by ‘t’; OK Time taken: 0.545 seconds hive> show create table teacher; OK CREATE TABLE `teacher`( `id` bigint, `name` string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘t’ STORED AS INPUTFORMAT ‘org.apache.hadoop.mapred.TextInputFormat’ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat’ LOCATION ‘hdfs://ns1/user/hive/warehouse/teacher’ TBLPROPERTIES ( ‘transient_lastDdlTime’=’1478344693’) Time taken: 0.309 seconds, Fetched: 13 row(s)

建好了teacher表，我们再来给teacher表中插入一些数据。我们的做法是新建一个teacher.txt文件并在里面输入一些数据，如下所示，输入完毕后保存退出该文件。

[root@itcast01 ~]# vim teacher.txt 1 赵老师 2 王老师 3 刘老师 4 邓老师

接下来我们把teacher.txt插入到teacher表当中。如下所示。

hive> load data local inpath ‘/root/teacher.txt’ into table teacher; Copying data from file:/root/teacher.txt Copying file: file:/root/teacher.txt Loading data to table default.teacher Table default.teacher stats: [numFiles=1, numRows=0, totalSize=48, rawDataSize=0] OK Time taken: 0.764 seconds hive>

上传完后，我们到HDFS文件系统中去看看我们的teacher表及数据。如下图所示，发现我们的表及teacher.txt文件都存在于HDFS中。

我们再通过shell命令来查看teacher表的信息，如下所示，可以看到我们查询到了teacher表中的数据。

hive> select * from teacher; OK 1 赵老师 2 王老师 3 刘老师 4 邓老师 Time taken: 0.971 seconds, Fetched: 4 row(s) hive>

我们以前学MapReduce的时数据的排序都需要我们手动写MapReduce程序来完成，现在有了Hive，我们只需要一条order by语句便可以搞定，假如我们想让teacher表中的数据降序排列，我们可以使用语句select * from teacher order by desc;我们并没有写任何MapReduce语句，接下来我们执行这条语句，信息如下，可以发现它会自动启用MapReduce来帮我们完成排序功能，真的是省去了我们很多麻烦。但是这也有个问题就是延迟性比较高，因为它要启动MapReduce，小弟要领取jar包领取任务，有可能还要执行多个MapReducer，因此延迟性便会比较多。

hive> select * from teacher order by id desc; Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number> In order to limit the maximum number of reducers: set hive.exec.reducers.max=<number> In order to set a constant number of reducers: set mapreduce.job.reduces=<number> Starting Job = job_1478323409873_0002, Tracking URL = http://itcast03:8088/proxy/application_1478323409873_0002/ Kill Command = /itcast/hadoop-2.2.0/bin/hadoop job -kill job_1478323409873_0002 Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1 2016-11-05 20:52:32,598 Stage-1 map = 0%, reduce = 0% 2016-11-05 20:52:40,933 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 1.4 sec 2016-11-05 20:52:47,147 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 2.43 sec MapReduce Total cumulative CPU time: 2 seconds 430 msec Ended Job = job_1478323409873_0002 MapReduce Jobs Launched: Job 0: Map: 1 Reduce: 1 Cumulative CPU: 2.43 sec HDFS Read: 252 HDFS Write: 48 SUCCESS Total MapReduce CPU Time Spent: 2 seconds 430 msec OK 4 邓老师 3 刘老师 2 王老师 1 赵老师 Time taken: 25.794 seconds, Fetched: 4 row(s) hive>

下面我们来说一下数据库的问题，我们在上面Hive架构图的时候提到了metadata元数据库，它里面有表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。Hive默认使用的元数据库是derby数据库，但是这个数据库有它致命的缺陷，那就是它仅支持单连接，这在公司的开发中简直就是恶梦。我下面为大家证明一下derby数据库仅支持单连接。

我们先hive的bin目录下启动hive并且建一个数据库itcast，如下所示。

启动hive

[root@itcast01 bin]# ./hive 16/11/05 21:25:38 INFO Configuration.deprecation: mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces 16/11/05 21:25:38 INFO Configuration.deprecation: mapred.min.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize 16/11/05 21:25:38 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative 16/11/05 21:25:38 INFO Configuration.deprecation: mapred.min.split.size.per.node is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.node 16/11/05 21:25:38 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive 16/11/05 21:25:38 INFO Configuration.deprecation: mapred.min.split.size.per.rack is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.rack 16/11/05 21:25:38 INFO Configuration.deprecation: mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.maxsize 16/11/05 21:25:38 INFO Configuration.deprecation: mapred.committer.job.setup.cleanup.needed is deprecated. Instead, use mapreduce.job.committer.setup.cleanup.needed

Logging initialized using configuration in jar:file:/itcast/apache-hive-0.13.0-bin/lib/hive-common-0.13.0.jar!/hive-log4j.properties

创建itcast数据库 hive> create database itcast; OK Time taken: 0.579 seconds

查看当前所有的数据库 hive> show databases; OK default itcast Time taken: 0.08 seconds, Fetched: 2 row(s)

查看当前所有的表（默认是在default数据库下） hive> show tables; OK student teacher Time taken: 0.037 seconds, Fetched: 2 row(s)

我们切换到itcast数据库 hive> use itcast; OK Time taken: 0.012 seconds

查看itcast数据库下所有的表，当然，现在我们还没建任何表，因此没有任何表信息 hive> show tables; OK Time taken: 0.017 seconds

我们创建一张user表，列与列之间用’t’分割。 hive> create table user(id int,name string) row format delimited fields terminated by ‘t’; OK Time taken: 0.229 seconds

我们再来看看itcast数据库下都有哪些表，发现已经有一张user表了。 hive> show tables; OK user Time taken: 0.016 seconds, Fetched: 1 row(s) hive>

我们到HDFS文件系统查看一下我们刚才建的itcast数据库，看它是怎样存储的，如下图所示，我们发现我们新建的itcast数据库在HDFS上的名字叫itcast.db，它是一个文件夹，之或以以.db作为后缀，就是告诉我们它是一个数据库。

我们点击itcast.db文件夹进去，可以看到有一个名叫user的文件夹，如下图所示，这就是我们刚才在itcast数据库中创建的user表，当然，现在我们还没有给user表中存放任何东西，因此现在user文件夹下面是空的。

我们接下来再打开一个itcast01的连接，并在hive的bin目录下启动hive，如下图所示，发现启动的时候报错了，提示另一个实例占用了metastore_db文件了。

那么metastore_db文件在哪里呢？我们在hive的bin目录下使用ls命令就可以看到metastore_db文件。这个数据库文件是我们启动hive后生成的文件，它是derby数据库文件。刚才报错就是这个文件不能同时被两个实例使用，意味着同一时间只能有一个人操作数据库，这绝对是我们难以忍受的。

[root@itcast01 bin]# ls beeline derby.log ext hive hive-config.sh hiveserver2 metastore_db metatool schematool [root@itcast01 bin]#

那么，是不是我们就真的无法在第二个实例启动hive呢？也不是，只是我们启动时所在的目录不能在bin目录下了，我们假如在bin的上一级目录启动hive，我们在启动hive之前，先查看bin的上级目录下是否有metastore_db文件，如下所示，发现没有metastore_db文件。

[root@itcast01 bin]# cd .. [root@itcast01 apache-hive-0.13.0-bin]# ls bin conf examples hcatalog lib LICENSE NOTICE README.txt RELEASE_NOTES.txt scripts [root@itcast01 apache-hive-0.13.0-bin]#

接下来我们便在bin的上级目录下启动hive，只是我们的启动命令改成bin/hive了而已。发现启动成功了，说明第二个实例也能启动hive，但是事情还没完。

[root@itcast01 apache-hive-0.13.0-bin]# bin/hive 16/11/05 22:04:23 INFO Configuration.deprecation: mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces 16/11/05 22:04:23 INFO Configuration.deprecation: mapred.min.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize 16/11/05 22:04:23 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative 16/11/05 22:04:23 INFO Configuration.deprecation: mapred.min.split.size.per.node is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.node 16/11/05 22:04:23 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive 16/11/05 22:04:23 INFO Configuration.deprecation: mapred.min.split.size.per.rack is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.rack 16/11/05 22:04:23 INFO Configuration.deprecation: mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.maxsize 16/11/05 22:04:23 INFO Configuration.deprecation: mapred.committer.job.setup.cleanup.needed is deprecated. Instead, use mapreduce.job.committer.setup.cleanup.needed

Logging initialized using configuration in jar:file:/itcast/apache-hive-0.13.0-bin/lib/hive-common-0.13.0.jar!/hive-log4j.properties hive>

我们看一下bin的上级目录下现在有没有metastore_db文件，如下所示，发现这时在bin的上级目录下已经新生成了一个metastore_db文件。还没完。

[root@itcast01 apache-hive-0.13.0-bin]# ls bin conf derby.log examples hcatalog lib LICENSE metastore_db NOTICE README.txt RELEASE_NOTES.txt scripts [root@itcast01 apache-hive-0.13.0-bin]#

我们再在bin的上级目录启动的hive下查看databases，如下所示，可以看到只有default数据库，根本就没有我们刚才创建的itcast数据库，而且我们查看表也没有任何表信息。这是为什么？？？其实原因在于我们现在查询的数据库其实是bin的上级目录下的metastore_db数据库，而不是bin目录下的metastore_db数据库，由于bin的上级目录下的metastore_db数据库是新建的，还没有任何表，也没有建过数据库，因此我们看到的都是空的。这说明，如果我们想同时操作derby数据库的话得在不同的目录启动hive而且新启动的hive没有任何数据，我们还需要重新建数据库，建表，无法公用，这是我们不敢想象的。因此derby数据库有它致命的缺点，我们在实际开发中用的是mysql数据库而不是derby数据库。

3，安装mysql，

sudo apt-get install mysql-server mysql-client

安装途中会提示输入mysql密码，按照提示输入就是。

  1. 启动mysql服务 ‘sudo service mysql start’ 注释： 重启mysql服务： ‘service mysql restart’ 停止mysql服务： ‘service mysql stop’ 查看mysql服务状态： ‘service mysql status’
  2. 进入mysql 服务 3.1 创建hive用户
代码语言：javascript复制
mysql -u root -p
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;
flush privileges;
use hive;
select user,host from mysql.user;
exit;

既然derby数据库不靠谱，我们便安装一下mysql数据库，在Linux上安装mysql大家可以参考：http://blog.csdn.net/u012453843/article/details/53048412这篇文章进行安装。

安装好了mysql，我们把原来用derby数据库在HDFS上生成的hive目录删掉，目的是不与我们用mysql数据库产生冲突，如下所示。

[root@ ubuntu bin]# hadoop fs -rm -r /user/hive 16/11/06 00:53:09 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes. Deleted /user/hive [root@ ubuntu bin]#

接下来我们来修改配置文件，我们先到conf目录下看都有哪些配置文件，比较重要的文件是 hive-default.xml.template和hive-env.sh.template， hive-default.xml.template是我们需要配置的。

[root@ ubuntu bin]# cd /itcast/ [root@ ubuntu itcast]# ls apache-hive-0.13.0-bin hadoop-2.2.0 hbase-0.96.2-hadoop2 sqoop-1.4.6 sqoop-1.4.6.bin__hadoop-2.0.4-alpha [root@ ubuntu itcast]# cd apache-hive-0.13.0-bin/ [root@ ubuntu apache-hive-0.13.0-bin]# ls bin conf examples hcatalog lib LICENSE NOTICE README.txt RELEASE_NOTES.txt scripts [root@ ubuntu apache-hive-0.13.0-bin]# cd conf [root@ ubuntu conf]# ls hive-default.xml.template hive-env.sh.template hive-exec-log4j.properties.template hive-log4j.properties.template [root@ ubuntu conf]#

要修改 hive-default.xml.template，我们需要先把它的名字修改一下，将其改为hive-site.xml，如下所示。

[root@ ubuntu conf]# ls hive-default.xml.template hive-env.sh.template hive-exec-log4j.properties.template hive-log4j.properties.template [root@ ubuntu conf]# mv hive-default.xml.template hive-site.xml [root@ ubuntu conf]# ls hive-env.sh.template hive-exec-log4j.properties.template hive-log4j.properties.template hive-site.xml [root@ ubuntu conf]#

接下来我们使用来编辑我们的hive-site.xml配置文件，设置hive的数据库信息我们先把<configuration>原来的配置内容都删掉，然后粘贴进去我们下面的配置内容，大家注意配置文件的格式。

<configuration> <!–配置连接的URL，现在我们的mysql安装在了ubuntu上了，因此我们改成 ubuntu，如果hive库不存在我们创建它–> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://ubuntu:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <!–连接驱动–> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <!–连接数据库的用户名–> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <!–连接数据库的密码–> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>12qw</value> <description>password to use against metastore database</description> </property> </configuration>

配置好了之后我们还需要在 ubuntu的hive的lib包下放mysql的驱动包，大家如果没有驱动包的话，可以到http://download.csdn.net/detail/u012453843/9667329这个地址进行下载。

[root@ ubuntu ~]# ls anaconda-ks.cfg Documents hbase-0.96.2-hadoop2-bin.tar.gz install.log.syslog logs mysql-connector-java-5.1.40-bin.jar Public Templates time wc.txt Desktop Downloads install.log jdk-7u80-linux-x64.gz Music Pictures sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz test.sh Videos [root@ ubuntu ~]# cp mysql-connector-java-5.1.40-bin.jar /itcast/apache-hive-0.13.0-bin/lib/ [root@ ubuntu ~]#

好，现在我们开始在itcast03上启动我们的hive，我们发现出错了，提示我们的itcast03没有权限访问itcast05上的Mysql Server服务。

进入到mysql mysql -u root -p

在root用户下创建hive数据库。create database hive;

[root@ ubuntu ~]# cd /itcast/apache-hive-0.13.0-bin/bin [root@ ubuntu bin]# ./hive 16/11/06 01:18:07 INFO Configuration.deprecation: mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces 16/11/06 01:18:07 INFO Configuration.deprecation: mapred.min.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize 16/11/06 01:18:07 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative 16/11/06 01:18:07 INFO Configuration.deprecation: mapred.min.split.size.per.node is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.node 16/11/06 01:18:07 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive 16/11/06 01:18:07 INFO Configuration.deprecation: mapred.min.split.size.per.rack is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.rack 16/11/06 01:18:07 INFO Configuration.deprecation: mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.maxsize 16/11/06 01:18:07 INFO Configuration.deprecation: mapred.committer.job.setup.cleanup.needed is deprecated. Instead, use mapreduce.job.committer.setup.cleanup.needed

Logging initialized using configuration in jar:file:/itcast/apache-hive-0.13.0-bin/lib/hive-common-0.13.0.jar!/hive-log4j.properties Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:344) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:625) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

Caused by: java.sql.SQLException: null, message from server: “Host ‘itcast03’ is not allowed to connect to this MySQL server” at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:964) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:897) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:886) at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1040)

既然没有权限，那么我们便来增加权限

首先我们以root身份登录ubuntu上的mysql

[root@ ubuntu ~]# mysql -uroot -p Enter password: Welcome to the MySQL monitor. Commands end with ; or g. Your MySQL connection id is 10 Server version: 5.1.73 MySQL Community Server (GPL)

Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners.

Type ‘help;’ or ‘h’ for help. Type ‘c’ to clear the current input statement.

执行下面的语句 *.*:所有库下的所有表 %：任何IP地址或主机都可以连接

mysql> GRANT ALL PRIVILEGES ON *.* TO ‘root’@’%’ IDENTIFIED BY ‘root’ WITH GRANT OPTION; Query OK, 0 rows affected (0.00 sec)

刷新一下权限

mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.00 sec)

mysql>

接下来我们再在itcast03上启动hive，我们发现我们可以成功启动hive了。

[root@ ubuntu bin]# ./hive 16/11/06 01:27:20 INFO Configuration.deprecation: mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces 16/11/06 01:27:20 INFO Configuration.deprecation: mapred.min.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize 16/11/06 01:27:20 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative 16/11/06 01:27:20 INFO Configuration.deprecation: mapred.min.split.size.per.node is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.node 16/11/06 01:27:20 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive 16/11/06 01:27:20 INFO Configuration.deprecation: mapred.min.split.size.per.rack is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.rack 16/11/06 01:27:20 INFO Configuration.deprecation: mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.maxsize 16/11/06 01:27:20 INFO Configuration.deprecation: mapred.committer.job.setup.cleanup.needed is deprecated. Instead, use mapreduce.job.committer.setup.cleanup.needed

Logging initialized using configuration in jar:file:/itcast/apache-hive-0.13.0-bin/lib/hive-common-0.13.0.jar!/hive-log4j.properties

我们来查看一下当前有哪些表，发现一张表都没有，因为我们还没有进行过任何操作。 hive> show tables; OK Time taken: 0.619 seconds

我们来创建一张people表。 hive> create table people (id int,name string); OK Time taken: 0.396 seconds hive>

4,数据在mysql的存储

在window上使用navicat远程链接数据库，可能出现无法访问的情况，可参照小编的博文：https://blog.csdn.net/csdnliuxin123524/article/details/79715997

连上mysql之后，如下图所示，可以看到mysql数据库自动多了一个hive库，这里面大概有二十几张表，这里面存放的是元数据信息。

那么我们刚才创建的people表存放在哪儿呢？它其实存放在TBLS里面，如下图所示。

那么表有哪些字段在哪儿保存呢？它其实保存在COLUMNS_V2中，如下图所示。那么它怎么知道这两个字段是属于people表的呢，它其实是有外键的。

那么在哪儿存放着数据的存放路径呢，如下图所示，可以看到在SDS当中存放着我们的数据在HDFS上的存放路径。

我们到HDFS上看下people表的路径，如下图所示，发现确实是正确的。

5，解决单链接

这里我们还需要验证一下我们使用mysql之后是否真的解决了Derby数据库仅支持单连接的问题。

启动前先查看当前目录下有哪些文件，如下

[root@ubuntu ~]# ls anaconda-ks.cfg Documents hbase-0.96.2-hadoop2-bin.tar.gz install.log.syslog logs mysql-connector-java-5.1.40-bin.jar Public Templates time wc.txt Desktop Downloads install.log jdk-7u80-linux-x64.gz Music Pictures sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz test.sh Videos

启动hive [root@ ubuntu ~]# /itcast/apache-hive-0.13.0-bin/bin/hive 16/11/06 09:48:18 INFO Configuration.deprecation: mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces 16/11/06 09:48:18 INFO Configuration.deprecation: mapred.min.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize 16/11/06 09:48:18 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative 16/11/06 09:48:18 INFO Configuration.deprecation: mapred.min.split.size.per.node is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.node 16/11/06 09:48:18 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive 16/11/06 09:48:18 INFO Configuration.deprecation: mapred.min.split.size.per.rack is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.rack 16/11/06 09:48:18 INFO Configuration.deprecation: mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.maxsize 16/11/06 09:48:18 INFO Configuration.deprecation: mapred.committer.job.setup.cleanup.needed is deprecated. Instead, use mapreduce.job.committer.setup.cleanup.needed

Logging initialized using configuration in jar:file:/itcast/apache-hive-0.13.0-bin/lib/hive-common-0.13.0.jar!/hive-log4j.properties

启动成功后查看表，可以查到people表 hive> show tables; OK people Time taken: 0.401 seconds, Fetched: 1 row(s)

退出hive视图 hive> exit;

再次查看当前目录下的文件，发现跟启动hive前是一样的！说明我们配置的Mysql完全解决了Derby数据库的缺陷！！ [root@ ubuntu ~]# ls anaconda-ks.cfg Documents hbase-0.96.2-hadoop2-bin.tar.gz install.log.syslog logs mysql-connector-java-5.1.40-bin.jar Public Templates time wc.txt Desktop Downloads install.log jdk-7u80-linux-x64.gz Music Pictures sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz test.sh Videos [root@ ubuntu ~]#

6,设置环境变量

用户目录下修改./bashrc

加入

export HIVE_HOME=/home/xiaoye/hive

export PATH=PATH:HIVE_HOME/bin

7.原理讲解：

我们先来看一下Hive的简介，如下图所示，Hive是一个数据仓库，它部署在Hadoop集群上，它的数据是存储在HDFS上的，Hive所建的表在HDFS上对应的是一个文件夹，表的内容对应的是一个文件。它不仅可以存储大量的数据而且可以对存储的数据进行分析，但它有个缺点就是不能实时的更新数据，无法直接修改和删除数据，如果想要修改数据需要先把数据所在的文件下载下来，修改完之后再上传上去。Hive的语法非常类似于我们的MySQL语句，所以上起手来特别容易。HIve特别神奇的地方是我们只需写一条SQL语句它就会自动转换为MapReduce任务去执行，不用我们再手动去写MapReduce了。

图一 Hive简介

图二 Hive简介

接下来我们一起来看一下Hive的系统架构图，如下图所示，这张图还是比较老的图，不过还是可以拿来学习的，我们看到Hive的最上方是CLI、JDBC/ODBC、WebUI。CLI的意思是Command Line Interface（命令行接口）,这意味着我们可以通过三种方式来操作我们的Hive，我们发送命令用CLI，尽量不要使用JDBC/ODBC因为事实证明它是有很多问题的，我们可以通过Web来浏览我们的Hive表及数据。元数据我们一般存储在mysql当中（Hive默认的数据库是derby），元数据是指表的信息，比如表的名字，表有哪些列等等描述信息。并不是我们要计算的数据。我们向表中插入的数据是保存在HDFS上的。

图三 Hive架构图

图四 Hive系统架构说明。

5，遇到错误

5.1ls: Call From ubuntu/127.0.1.1 to ubuntu:9000 failed on connection exception

访问hdfs时出现的错误，如 hadoop fs -ls / 查看hdfs系统的文件，或启动hive后创建表报出的错。报错的大概意思是，访问hdfs的127.0.1.1不能连接，经过一般试探，总结出应该是更换了hadoop后出现了问题，并且问题是hadoop/etc/hadoop/目录下的core-site.xml文件的ip配置和虚拟机的hosts文件配置不一致。因此这里小编就把原先core-site.xml的ip由192.168.26.129改为ubuntu，并且把mapred-site.xml，和hdfs-site.xml两个文件出现的地方也改成一样的。然后还要先停hadoop在hadoop namenode -format 格式化主节点，再启动hdfs。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/106184.html原文链接：https://javaforall.cn

hadoop javascript 云数据库SQLServer 数据库 sql

0 人点赞