ckafka这个消费者参数配置后, 为什么Kafka rebalance时间好长, 超过一个小时 还没有完成
问题描述: 这个消费者参数配置后, 为什么Kafka rebalance时间好长, 超过一个小时 还没有完成 KafkaConsumer(bootstrap_servers=_hosts, auto_offset_reset=_offset_mode, group_id=_group_id, enable_auto_commit=_auto_commit, api_version=(0, 9), max_poll_interval_ms=300000, max_poll_records=1, session_timeout_ms=300000, request_timeout_ms=310000, connections_max_idle_ms=320000, heartbeat_interval_ms=300000, consumer_timeout_ms=1800000)
解决方案:使用 Kafka 消费分组机制时,消费者发送心跳的间隔。heartbeat_interval_ms这个值必须小于 session.timeout.ms,一般小于它的三分之一
结果:修改heartbeat_interval_ms 后 relbance 时间快多了