kafka中listener和advertised.listeners的作用

2023-05-03 11:42:16 浏览数 (2)

# listener

listener配置是用来绑定BrokerIP 端口地址​的,也就是只有通过绑定的地址才能够访问到该Broker。除了绑定地址之外,还可以配置该监听地址的认证协议,也就是使用该地址连接Broker时需要指定使用何种协议方式进行连接。

如下配置:

代码语言:javascript复制
listeners: INTERNAL://172.17.0.10:9092,EXTERNAL://172.17.0.10:9094
kafka_listener_security_protocol_map: "INTERNAL:SASL_PLAINTEXT,EXTERNAL:SASL_PLAINTEXT"

连接该Broker的客户端只能通过172.17.0.10:9092​和172.17.0.10:9094​这两个地址访问kafka,并给前一个地址设置listener名称为INTERNAL​,后一个为EXTERNAL

kafka_listener_security_protocol_map​配置中设置listener所使用的通信协议,INTERNAL设置的是SASL_PLAINTEXT​,这也是常见的用户名和密码认证协议,EXTERNAL​设置也是该协议。

最终,kafka 客户端连接该kafka broker,需要通过172.17.0.10:9092​或172.17.0.10:9094​地址进行连接,并且都需要使用用户名和密码进行认证。

# advertised.listeners

该配置指定Kafka Broker对外公开的网络IP和端口,用于告知客户端如何连接到Kafka Broker。公开的方式是通过存储在zookeeper中进行共享数据的。

如下配置:

代码语言:javascript复制
listeners: INTERNAL://172.17.0.10:9092,EXTERNAL://172.17.0.10:9094
advertised_listeners: INTERNAL://172.17.0.10:9092,EXTERNAL://公网IP:端口
kafka_listener_security_protocol_map: "INTERNAL:SASL_PLAINTEXT,EXTERNAL:SASL_PLAINTEXT"

listeners​和kafka_listener_security_protocol_map​的配置和上面讲的一样,而advertised_listeners​的配置和listeners​配置含义基本一致,但是它会保存在zookeeper中/brokers/ids/0​的endpoints里。

代码语言:javascript复制
...
"endpoints":["INTERNAL://172.17.0.10:9092","EXTERNAL://172.17.0.10:9094"]
...

kafka客户端连接kafka broker时,会先获取所有brokers的元数据信息,获取到endpoints的信息,然后再通过其中的endpint进行对broker进行连接操作。

问题来了,我都知道了kafka broker的IP地址 端口了,为什么还需要advertised.listeners?

在需要代理才能连接kafka broker时,在这种场景时,需要将advertised.listeners​设置为代理的地址。

在公有云场景下部署kafka集群,公网IP不是在本节点网卡上的,所以无法通过listener进行绑定,所以只能通过0.0.0.0进行绑定。但是在集群外部时,kafka客户端进行连接,它是需要有能力访问kafka的每一个broker节点的,所以需要在advertised.listeners中配置公网IP,并存储在zookeeper中,这样kafka客户端就能拿到所有broker节点的公网IP并进行访问。

# 内外网分流

在公有云场景下,我们希望在集群内部客户端访问时不需要认证,而外部客户端访问时需要走认证加密访问。配置如下:

代码语言:javascript复制
listeners: INTERNAL://0.0.0.0:9092,EXTERNAL://0.0.0.0:9094
advertised_listeners: INTERNAL://内网IP:9092,EXTERNAL://公网IP:9094
kafka_listener_security_protocol_map: "INTERNAL:PLAINTEXT,EXTERNAL:SASL_PLAINTEXT"

listeners都设置成对0.0.0.0进行监听也就是监听所有的网卡,但它们的端口不同,9092端口使用PLAINTEXT协议,而9094端口走的是SASL_PLAINTEXT协议

advertised_listeners,内网IP使用PLAINTEXT协议,公网IP使用SASL_PLAINTEXT协议。

当内网客户端访问时,会先获取到所有brokers的advertised_listeners信息,然后通过PLAINTEXT协议走内网IP访问kafka集群。

当公网客户端访问时,会先获取到所有brokers的advertised_listeners信息,然后通过SASL_PLAINTEXT走公网IP进行访问

0 人点赞