目录
CDH使用注意
一、HDFS使用前配置
二、Kafka使用前配置
CDH使用注意
一、HDFS使用前配置
默认情况下,CDH的HDFS服务是开启权限检查的,为方便使用HDFS,需先将HDFS的dfs.permissions选项取消选中,保存后重启HDFS服务。最终的配置如下:
二、Kafka使用前配置
CDH-6.2.1中的Kafka默认offsets.topic.replication.factor为3,但实际上Kafka的Broker数量为1,会导致创建主题时虽然指定了--replication-factor=1和--partitions=1会导致生产消息成功,但无法接收消息的情况,在CM的管理界面中,如果直接修改offsets.topic.replication.factor=1是无法保存的,需要我们手动在Kafka服务的配置文件中修改才能生效,修改方式如下:
操作步骤 | 说明 |
---|---|
1 | vi /var/run/cloudera-scm-agent/process/115-KAFKA-kafka-KAFKA_BROKER-8daa17cc7adbeef4134b312fdd60b3d1-RoleDiagnostics/kafka.properties |
2 | 找到offsets.topic.replication.factor配置,设置为1 |
3 | 保存配置,退出vi编辑器 |
4 | 在CM管理页面中,重启Kafka实例,即可正常使用 |
修改前的设置: | |
修改后的设置: | |