# listener
listener配置是用来绑定BrokerIP 端口地址
的,也就是只有通过绑定的地址才能够访问到该Broker。除了绑定地址之外,还可以配置该监听地址的认证协议,也就是使用该地址连接Broker时需要指定使用何种协议方式进行连接。
如下配置:
代码语言:javascript复制listeners: INTERNAL://172.17.0.10:9092,EXTERNAL://172.17.0.10:9094
kafka_listener_security_protocol_map: "INTERNAL:SASL_PLAINTEXT,EXTERNAL:SASL_PLAINTEXT"
连接该Broker的客户端只能通过172.17.0.10:9092
和172.17.0.10:9094
这两个地址访问kafka,并给前一个地址设置listener名称为INTERNAL
,后一个为EXTERNAL
在kafka_listener_security_protocol_map
配置中设置listener所使用的通信协议,INTERNAL设置的是SASL_PLAINTEXT
,这也是常见的用户名和密码认证协议,EXTERNAL
设置也是该协议。
最终,kafka 客户端连接该kafka broker,需要通过172.17.0.10:9092
或172.17.0.10:9094
地址进行连接,并且都需要使用用户名和密码进行认证。
# advertised.listeners
该配置指定Kafka Broker对外公开的网络IP和端口,用于告知客户端如何连接到Kafka Broker。公开的方式是通过存储在zookeeper中进行共享数据的。
如下配置:
代码语言:javascript复制listeners: INTERNAL://172.17.0.10:9092,EXTERNAL://172.17.0.10:9094
advertised_listeners: INTERNAL://172.17.0.10:9092,EXTERNAL://公网IP:端口
kafka_listener_security_protocol_map: "INTERNAL:SASL_PLAINTEXT,EXTERNAL:SASL_PLAINTEXT"
listeners
和kafka_listener_security_protocol_map
的配置和上面讲的一样,而advertised_listeners
的配置和listeners
配置含义基本一致,但是它会保存在zookeeper中/brokers/ids/0
的endpoints里。
...
"endpoints":["INTERNAL://172.17.0.10:9092","EXTERNAL://172.17.0.10:9094"]
...
kafka客户端连接kafka broker时,会先获取所有brokers的元数据信息,获取到endpoints的信息,然后再通过其中的endpint进行对broker进行连接操作。
问题来了,我都知道了kafka broker的IP地址 端口了,为什么还需要advertised.listeners?
在需要代理才能连接kafka broker时,在这种场景时,需要将advertised.listeners
设置为代理的地址。
在公有云场景下部署kafka集群,公网IP不是在本节点网卡上的,所以无法通过listener进行绑定,所以只能通过0.0.0.0进行绑定。但是在集群外部时,kafka客户端进行连接,它是需要有能力访问kafka的每一个broker节点的,所以需要在advertised.listeners中配置公网IP,并存储在zookeeper中,这样kafka客户端就能拿到所有broker节点的公网IP并进行访问。
# 内外网分流
在公有云场景下,我们希望在集群内部客户端访问时不需要认证,而外部客户端访问时需要走认证加密访问。配置如下:
代码语言:javascript复制listeners: INTERNAL://0.0.0.0:9092,EXTERNAL://0.0.0.0:9094
advertised_listeners: INTERNAL://内网IP:9092,EXTERNAL://公网IP:9094
kafka_listener_security_protocol_map: "INTERNAL:PLAINTEXT,EXTERNAL:SASL_PLAINTEXT"
listeners都设置成对0.0.0.0进行监听也就是监听所有的网卡,但它们的端口不同,9092端口使用PLAINTEXT协议,而9094端口走的是SASL_PLAINTEXT协议
advertised_listeners,内网IP使用PLAINTEXT协议,公网IP使用SASL_PLAINTEXT协议。
当内网客户端访问时,会先获取到所有brokers的advertised_listeners信息,然后通过PLAINTEXT协议走内网IP访问kafka集群。
当公网客户端访问时,会先获取到所有brokers的advertised_listeners信息,然后通过SASL_PLAINTEXT走公网IP进行访问