大数据常用组件默认端口号
2018-8-13 作者: 张子阳 分类: 大数据处理
.colspan{ background:#f4f4f4; font-weight: bold;}
一般来说，Hadoop集群是运行在内网中的，并不开放外网访问，然后通过一个gateway机器作为集群的客户端来提交作业，或者管理集群。此时，内网应当是互通的；如果内网仍需要开启防火墙，那么就需要将Hadoop所用到的端口号加入到防火墙的例外当中。
这篇文章列举了Hadoop生态系统下常用大数据组件的默认端口号，包括 HDFS、YARN、MapReduce、Hive、Spark、Zookeeper、Kakfa，其他的例如HBase、Sqoop等以后用到的时候再新增吧。
端口 | 配置项 | 说明 |
|---|---|---|
Hadoop HDFS | ||
8020 | fs.defaultFS | hdfs:// 连接 |
50090 | dfs.namenode.secondary.http-address | |
50091 | dfs.namenode.secondary.https-address | |
50010 | dfs.datanode.address | |
50075 | dfs.datanode.http.address | WebUI |
50020 | dfs.datanode.ipc.address | |
50070 | dfs.namenode.http-address | |
50475 | dfs.datanode.https.address | |
50470 | dfs.namenode.https-address | |
50100 | dfs.namenode.backup.address | |
50105 | dfs.namenode.backup.http-address | |
8485 | dfs.journalnode.rpc-address | |
8480 | dfs.journalnode.http-address | |
8481 | dfs.journalnode.https-address | |
8019 | dfs.ha.zkfc.port | |
Hadoop YARN | ||
8032 | yarn.resourcemanager.address | |
8030 | yarn.resourcemanager.scheduler.address | |
8088 | yarn.resourcemanager.webapp.address | WebUI |
8090 | yarn.resourcemanager.webapp.https.address | |
8031 | yarn.resourcemanager.resource-tracker.address | |
8033 | yarn.resourcemanager.admin.address | |
8044 | yarn.nodemanager.webapp.https.address | |
8047 | yarn.sharedcache.admin.address | |
8788 | yarn.sharedcache.webapp.address | |
8046 | yarn.sharedcache.uploader.server.address | |
8045 | yarn.sharedcache.client-server.address | |
8049 | yarn.nodemanager.amrmproxy.address | |
8089 | yarn.router.webapp.address | |
8091 | yarn.router.webapp.https.address | |
Hadoop MapReduce | ||
10020 | mapreduce.jobhistory.address | |
19888 | mapreduce.jobhistory.webapp.address | |
19890 | mapreduce.jobhistory.webapp.https.address | |
Hive | ||
9083 | metastore | |
10000 | thrift | |
Zookeeper | ||
2181 | /etc/zookeeper/conf/zoo.cfg clientPort | 客户端连接端口 |
2888 | server.x | follower连接到leader的端口 |
3888 | server.x | leader选举时的端口 |
Spark | ||
8080 | spark.master.ui.port | Master WebUI |
8081 | spark.worker.ui.port | Worker WebUI |
18080 | spark.history.ui.port | History server WebUI |
7077 | SPARK_MASTER_PORT | Master port |
6066 | spark.master.rest.port | Master REST port |
4040 | spark.ui.port | Driver WebUI |
Kafka | ||
9092 | server.properties | 客户端连接 |
感谢阅读，希望这篇文章能给你带来帮助！
