大数据相关服务版本及端口号和访问地址

各版本

部署的各个服务及版本

服务	版本	说明
JDK	8u221	JDK8是其他服务启动的基础
Zookeeper	3.7.1
Hadoop	2.7.7	较新的版本不太好找找其他服务的兼容版本
Flink	1.12.7	做大数据计算
Hbase	2.1.10	查询高效的数据库
Phonenix	5.1.2	SQL方式操作Hbase

Zookeeper

端口2181

连接

代码语言：javascript复制

zkCli.sh

输入命令

代码语言：javascript复制

#查看zk的根目录kafka相关节点
ls /
#查看kafka节点
ls /brokers
ls /brokers/topics  

create /zk "test"
set /zk "zkbak"
get /zk

Hadoop

我的服务器的IP为 192.168.7.101

HDFS监控页面查询：

http://192.168.7.101:50070/

http://192.168.7.102:50070/

查看文件可以访问这个地址

http://192.168.7.101:50070/explorer.html#/

http://192.168.7.102:50070/explorer.html#/

Yarn监控页面查询：

http://192.168.7.102:8088/cluster

http://192.168.7.103:8088/cluster

连接具体的NameNode需要用9000端口

代码语言：javascript复制

hdfs://hacluster/hbase
hdfs://192.168.7.102:9000/hbase

Flink

Flink有个UI界面，可以用于监控Flilnk的job运行状态 http://192.168.7.101:8081/

Hbase

HMaster 的 Web 接口

http://192.168.7.101:16010

http://192.168.7.102:16010

HRegionServer 的 Web 接口

http://192.168.7.101:16030

http://192.168.7.102:16030

http://192.168.7.103:16030

两个重要配置

在HDFS中的Path和ZK中的Path

代码语言：javascript复制

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://hacluster/hbase</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
<property>
  <name>zookeeper.znode.parent</name>
  <value>/hbase</value>
</property>

连接

代码语言：javascript复制

hbase shell

list
get 'zdb:tuser','95001'
scan 'zdb:tuser', {FORMATTER => 'toString'}

创建表

代码语言：javascript复制

create 'student','s_name','s_sex','s_age','s_dept','s_course'

# 创建表示指定保存的版本数
create 'teacher',{NAME=>'username',VERSIONS=>5}

查看表详情

代码语言：javascript复制

describe 'student'

显示所有的表

代码语言：javascript复制

list

插入数据

代码语言：javascript复制

put 'student','95001','s_name','LiYing'
put 'student','95001','s_sex','Male'
put 'student','95001','s_course:math','80'
put 'student','95001','s_course:english','90'

查看表数据

代码语言：javascript复制

scan 'student', {FORMATTER => 'toString'}

重启

代码语言：javascript复制

$HBASE_HOME/bin/stop-hbase.sh
$HBASE_HOME/bin/start-hbase.sh

查看服务

代码语言：javascript复制

ha-call.sh "jps"

Phonenix

连接

代码语言：javascript复制

sqlline.py hadoop01,hadoop02,hadoop03:2181

!schema

use "zdb";
!table
select * from "tuser";

!quit

http hbase flink TDSQLMySQL版 hadoop

0 人点赞