把CDH集群的kafka数据同步到TBDS的kafka集群做测试,可以使用自带的mirrormaker工具同步
mirrormaker的原理可以网上查看,详细的命令参考https://my.oschina.net/guol/blog/828487,使用方式相当于先消费CDH的数据,然后再生产到TBDS集群中。
mirrormake到配置及命令启动都在目标集群上,所以下面的操作都在TBDS集群上
1.因为TBDS kafka有开启认证,所以mirromaker指定的生产者配置文件--producer.config target.producer.configure需要加入认证,同时连接的端口使用6668(TBDS kafka认证方式有两种,社区的开源认证方式为6668端口,TBDS自研认证使用6667端口),我们使用社区的开源认证方式访问
bootstrap.servers=172.0.x.x:6668,172.0.x.x:6668,172.0.x.x:6668 ##TBDS的kafka broker地址 message.max.bytes=7000000 fetch.message.max.bytes=7500000 max.partition.fetch.bytes=7500000 replica.fetch.max.bytes=7500000 security.protocol=SASL_PLAINTEXT ##加入开源认证配置 sasl.mechamism=PLAIN ##加入开源认证配置
2.消费的集群是CDH集群,客户的CDH集群本身没有开启认证,所以–consume.config target.consume.configure配置文件就按照社区方式配置即可
bootstrap.servers=10.x.x.x:9092,10.x.x.x:9092,10.x.x.x:9092 ##CDH集群的kafka broker地址 message.max.bytes=7000000 fetch.message.max.bytes=7500000 max.partition.fetch.bytes=7500000 replica.fetch.max.bytes=7500000 group.id=xxxx ##原集群的kafka topic group