본문 바로가기
개발 이야기/Generals

Kafka 클러스터에서 broker 가 죽었을 때 topic 생성 타임아웃 해결하기

by _ppuing 2024. 10. 25.
반응형

python-kafka 를 활용하고 있고, 총 3개의 broker 를 설정해서 사용하고 있는데 broker 2,3 이 죽었을 때 Topic을 Producer가 만들려고 시도할 때 타임아웃이 발생했다. 
블로그 글을 단순히 보고 아래와 같이 세팅 했었는데, 
 

# kafka server 1
############################# Server Basics #############################
process.roles=broker,controller
node.id=1
controller.quorum.voters=1@host1:9093,2@host2:9093,3@host3:9093
############################# Socket Server Settings #############################
listeners=PLAINTEXT://host1:9092,CONTROLLER://host1:9093
advertised.listeners=PLAINTEXT://host1:9092
############################# Log Basics #############################
log.dirs=/usr/local/kafka_2.13-3.6.0/logs/kraft-combined-logs
num.partitions=3
############################# Internal Topic Settings  #############################
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
############################# Group Coordinator Settings #############################
auto.leader.rebalance.enable=true

 
여기서

transaction.state.log.min.isr

녀석이 문제였다. 
토픽 생성을 위해 최소 3개의 리플리케이션이 살아 있어야 하기 때문에 해당 값을 1로 바꾸니 브로커 2,3 을 죽여도 토픽 생성을 정상적으로 하는 것을 확인했다

반응형

댓글