# 安装版本
| SoftWare | Version |
| ------------- |:-------------:|
| JDK | 1.8 |
| Hadoop | 2.7.3 |
| Hive | 2.1.1 |
| Hbase | 1.3.0 |
| MySQL | 5.7.17 |
| Kylin | 1.6.0 |以上全部运行、大概至少需要2GB内存
一、搭建Hadoop环境
- 安装JDK(1.8)
- http://www.oracle.com/technetwork/java/javase/downloads/index.html
- 下载地址
- 配置环境变量。
JAVA_HOME, JRE_HOME, 以及PATH
- 下载Hadoop(2.7.3)
- http://hadoop.apache.org/releases.html
- 下载地址
# hadoop-env.sh 配置 export JAVA_HOME=`absolute path` # core-site.xml 配置 <configuration> <!-- 指定HDFS老大（namenode）的通信地址 --> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/path/to/tmp</value> </property> </configuration> # hdfs-site.xml 配置 <configuration> <!-- 设置hdfs副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
二、搭建Hive环境
- 安装mysql(5.7.17)
- https://dev.mysql.com/downloads/mysql/
- 下载地址
- 该版本推荐使用ssl, 否则会有警告, 暂时忽略... (&useSSL=false)
- 安装Hive(2.1.1)
- hive需要创建一个叫“元数据库”的东西，需要一个数据库来支持，比如MySQL
- 由于使用MySQL. 需要在hive的 lib文件夹中，添加 “mysql-connector-java-xxx.jar”
# hive-env.sh 配置 HADOOP_HOME=/usr/hadoop-2.7.3 # 创建一个 hive-site.xml 文件 # 其实就是比 hive-default.xml 优先级高一些的子集 # 主要配置 MySQL 数据库连接 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hive.metastore.local</name> <value>true</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://127.0.0.1:3306/hive?characterEncoding=UTF-8</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> </configuration> # 可以~~~ cp hive-default.xml.template hive-default.xml cp hive-log4j2.properties.template hive-log4j2.properties
- 然后，需要初始化一下 hive的数据库表 schematool -dbType mysql -initSchema
三、搭建Hbase环境
- 安装Hbase(1.3.0)
- http://hbase.apache.org/
- 下载地址
- 此版本自带Zookeeper
# 设置环境变量 hbase-env.sh export JAVA_HOME=/usr/jdk1.8.0_121/ # Extra Java CLASSPATH elements. Optional. export HBASE_CLASSPATH=/usr/hadoop-2.7.3/etc/hadoop # 是否使用自带Zookeeper export HBASE_MANAGES_ZK=true # 设置 hbase-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hbase.tmp.dir</name> <value>/home/lpe234/hbase-tmp</value> </property> </configuration>
四、搭建Kylin环境
- 安装Kylin(1.6.0)
- http://kylin.apache.org/docs/install/index.html
- 下载地址
# 配置大体无需修改 # 但是需要设置一下环境变量(PATH....) # /etc/profile (source /etc/profile) # 增加如下内容 export JAVA_HOME=/usr/jdk1.8.0_121/ export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export HADOOP_HOME=/usr/hadoop-2.7.3 export HIVE_HOME=/usr/hive-2.1.1 export HIVE_CONF=/usr/hive-2.1.1/conf/ export HCAT_HOME=/usr/hive-2.1.1/hcatalog/ export HBASE_HOME=/usr/hbase-1.3.0 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$PATH export KYLIN_HOME=/usr/apache-kylin-1.6.0-hbase1.x-bin
五、启动
代码语言：javascript复制# MySQL 启动
service mysql restart
# Hadoop 启动
hadoop-2.7.3/sbin/stop-all.sh
hadoop-2.7.3/sbin/start-all.sh
# Hive 启动
# 无需启动 hive-2.1.1/bin/hive
# Hbase 启动
hbase-1.3.0/bin/stop-hbase.sh
hbase-1.3.0/bin/start-hbase.sh
# Kylin 启动
apache-kylin-1.6.0-hbase1.x-bin/bin/kylin.sh stop
apache-kylin-1.6.0-hbase1.x-bin/bin/kylin.sh start# 然后就可以了~~~
Please visit http://<ip>:7070/kylin
The username/password is ADMIN/KYLIN参考资料
- http://blog.csdn.net/windghoul/article/details/52655032
- http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation
