客快物流大数据项目(三十五):CDH使用注意

2022-02-24 14:20:03 浏览数 (2)

目录

CDH使用注意

一、HDFS使用前配置

二、​​​​​​​Kafka使用前配置

CDH使用注意

一、​​​​​​​HDFS使用前配置

默认情况下,CDH的HDFS服务是开启权限检查的,为方便使用HDFS,需先将HDFS的dfs.permissions选项取消选中,保存后重启HDFS服务。最终的配置如下:

二、​​​​​​​Kafka使用前配置

CDH-6.2.1中的Kafka默认offsets.topic.replication.factor为3,但实际上Kafka的Broker数量为1,会导致创建主题时虽然指定了--replication-factor=1和--partitions=1会导致生产消息成功,但无法接收消息的情况,在CM的管理界面中,如果直接修改offsets.topic.replication.factor=1是无法保存的,需要我们手动在Kafka服务的配置文件中修改才能生效,修改方式如下:

操作步骤

说明

1

vi /var/run/cloudera-scm-agent/process/115-KAFKA-kafka-KAFKA_BROKER-8daa17cc7adbeef4134b312fdd60b3d1-RoleDiagnostics/kafka.properties

2

找到offsets.topic.replication.factor配置,设置为1

3

保存配置,退出vi编辑器

4

在CM管理页面中,重启Kafka实例,即可正常使用

修改前的设置:

修改后的设置:

0 人点赞