Kylin2.5.2完全分布式安装部署

2021-08-12 10:06:07 浏览数 (1)

Kylin介绍：      关于Kylin的简介网上资料有很多，就不做过多的赘述了，这里给一个中文链接： http://kylin.apache.org/cn/ 搭建步骤：

1，安装Hadoop，Zookeeper，HBase，Hive       安装Hadoop这些组件的时候需要注意：选择的版本不能太低，根据Kylin官方推荐的版本来，      Hadoop: 2.7      Hive: 0.13 - 1.2.1      HBase: 1.1      Spark (可选) 2.1.1      Kafka (可选) 0.10.0      JDK: 1.7      OS: Linux only, CentOS 6.5 or Ubuntu 16.0.4

笔者这里选用的版本如下：      hadoop-2.7.2      hbase-1.2.11       zookeeper-3.4.6       jdk1.8.0_91       hive1.2.1       Kylin-2.5.2

2，Kylin下载与安装      下载Kylin的时候，需要注意Kylin的版本，Kylin支持CDH，也有原生的版本。      笔者下载的是这个： https://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-2.5.2/apache-kylin-2.5.2-bin-hbase1x.tar.gz      下载完成后，将tar包上传到linux中，进行解压：

代码语言：javascript复制
tar -zxvf apache-kylin-2.5.2-bin-hbase1x.tar.gz

     然后对解压后的目录改名：

代码语言：javascript复制
 mv apache-kylin-2.5.2-bin-hbase1x kylin2.5.2

     解压完成后可以看到查看目录的文件夹有哪些：

代码语言：javascript复制
[root@mzz11 opt]# cd kylin2.5.2/
[root@mzz11 kylin2.5.2]# ls
bin  commit_SHA1  conf  ext  lib  logs  pid  sample_cube  spark  tomcat  tool

     进入conf下：

代码语言：javascript复制
[root@mzz11 kylin2.5.2]# cd conf/
[root@mzz11 conf]# ls
kylin_hive_conf.xml       kylin_job_conf.xml        kylin.properties               kylin-spark-log4j.properties  setenv.sh
kylin_job_conf_inmem.xml  kylin-kafka-consumer.xml  kylin-server-log4j.properties  kylin-tools-log4j.properties

     打开 kylin.properties ，这里只展现部分的内容：

代码语言：javascript复制
[root@mzz11 conf]# vi kylin.properties 
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar
kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib/kylin-coprocessor-2.5.2.jar



# The below commented values will effect as default settings
# Uncomment and override them if necessary



#
#### METADATA | ENV ###
#
## The metadata store in hbase
#kylin.metadata.url=kylin_metadata@hbase
#
## metadata cache sync retry times
#kylin.metadata.sync-retries=3
#
## Working folder in HDFS, better be qualified absolute path, make sure user has the right permission to this directory
#kylin.env.hdfs-working-dir=/kylin
"kylin.properties" 363L, 13895C

     我们需要修改这些项：

代码语言：javascript复制
##这里可以将mode设置为all，也可以为job，但是只能设置一个，待会将这个文件copy到其他节点，
##需要将这一项改为query，因为一个集群中只能有一个job！！！
## Kylin server mode, valid value [all, query, job]
kylin.server.mode=all


##这个选项为kylin集群的IP，host，根据自己的主机名写，端口就是7070
## List of web servers in use, this enables one web server instance to sync up with other servers.
kylin.server.cluster-servers=mzz11:7070,mzz12:7070,mzz13:7070

##在加入以下两个选项， 注意这两个jar包的位置在kylin目下的lib中，这里需要改成你自己的目录。
kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar
kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib/kylin-coprocessor-2.5.2.jar

     注意：这里只是做测试之用，若是在生产环境，可根据自己需要修改一下几个xml文件，已达到生产需要。

代码语言：javascript复制
kylin_hive_conf.xml       kylin_job_conf.xml        kylin.properties               kylin-spark-log4j.properties  setenv.sh
kylin_job_conf_inmem.xml  kylin-kafka-consumer.xml  kylin-server-log4j.properties  kylin-tools-log4j.properties

3，其他配置      第二部完成后，Kylin的部署工作刚完成一半，因为Kylin的边缘配置还有一些。      首先就是Kylin的环境变量：

代码语言：javascript复制
vi /etc/profile  

##同样，这里将目录改为自己的目录即可
export KYLIN_HOME=/opt/kylin2.5.2
export PATH=$PATH:$KYLIN_HOME/bin

##更改完成后，记得source一下：

source /etc/profile

     当然，其他的组件，HBase，Hadoop，Zookeeper，Hive也需要配置环境变量，方法和Kylin相同。

还有一点，就是笔者在启动的时候，老是报错：找不到主机。这是因为HBase的一个配置

代码语言：javascript复制
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>mzz11,mzz12,mzz13</value>
</property>

     没错，就是这个配置项， 因为笔者用的是外置的zookeeper，一开始的时候配置项加上了post，一直报错找不到mzz11:2181这个主机，研究了下就把这个给改掉了，成功解决了问题！

4，启动验证:

     运行Kylin之前，最好先 检查下运行环境，Kylin提供了一个命令，在它的bin目录下有一个命令：

代码语言：javascript复制
check-env.sh

     启动之前，先进行检查， 若是没有问题了，在启动Kylin：

代码语言：javascript复制
kylin.sh  start

     可以在UI界面查看Kylin是否启动成功：

有问题，可以留言。

测试：待续。。。

// Kylin2.6.1安装的时候需要自己下载spark的二进制包，或者运行download-spark.sh， 不然会报错：

代码语言：javascript复制
spark not found, set SPARK_HOME, or run bin/download-spark.sh

从这个版本开始Kylin不提供spark的二进制包。

hadoop hbase TDSQLMySQL版 spark hive

0 人点赞