• Kafka의 Replication과 Fault Tolerance는 데이터의 안정성과 가용성을 보장하는 중요한 요소이다. 이러한 개념들은 Kafka 클러스터가 장애 상황에서도 데이터 손실 없이 정상적으로 작동할 수 있게 해준다.

1. ISR (In-Sync Replicas)

• 정의:
  • ISR은 Leader Partition에 복제될 수 있는 Follower Partition의 집합이다.
  • 즉, ISR은 현재 Leader와 동기화되고 있는 Follower Partition들을 의미한다.
• 동작 방식:
  • Leader Partition이 새로운 메시지를 받으면, ISR 내의 Follower Partition들도 이 메시지를 복제한다.
  • 모든 Follower가 메시지를 복제하면, 해당 메시지는 'Commit'된 것으로 간주된다.
  • Commit된 메시지만이 Consumer에 의해 소비될 수 있다.

• 그림 설명
  1. Producer: 메시지를 생성하여 Leader Partition에 전달한다. (단계 1)
  2. Leader Partition: 메시지를 받아 저장하고, ISR에 있는 Follower Partition들에게 복제한다. (단계 2 → 3, 단계 4)
  3. Follower Partitions: Leader Partition으로부터 메시지를 복제받는다. (단계 2 → 3)
  4. ISR (In-Sync Replicas): 현재 Leader와 동기화되고 있는 Follower Partition들의 집합이다. (단계 4)
  5. Consumer: Leader Partition에서 메시지를 소비한다. (단계 5)

2. Replication Factor

• 정의:
  • Replication Factor는 특정 Topic의 데이터가 몇 개의 복제본을 가질 것인지 설정하는 값이다.
• 동작 방식:
  • Replication Factor가 3이라면, 하나의 Leader Partition과 두 개의 Follower Partition이 생성된다.
  • 이렇게 하면 하나 또는 두 개의 노드가 실패해도 데이터 손실이 없다.
  • 높은 Replication Factor 설정은 데이터의 안정성을 높이지만, 더 많은 저장 공간과 네트워크 트래픽을 사용한다.

• 동작 과정
  1. Producer: 메시지를 생성하고 Leader Partition에 전송한다. (단계 1)
  2. Leader Partition: 메시지를 받아 Follower Partition에 복제한다. (단계 2 → 3)
  3. Follower Partition 1 & 2: Leader Partition으로부터 메시지를 복제한다. Replication Factor가 3이므로, 하나의 Leader와 두 개의 Follower가 있다. (단계 2 → 3)
  4. Consumer: Leader Partition에서 메시지를 소비한다. (단계 4)

3. Leader Election

• 정의:
  • Leader Election은 현재 Leader Partition이 실패할 경우, ISR 내의 Follower Partition 중 하나가 새로운 Leader로 선출되는 과정이다.
• 동작 방식:
  • Leader Partition이 실패하면, Kafka는 ISR 목록에서 새로운 Leader를 선출한다.
  • 새 Leader가 선출되면, 모든 Follower Partition들은 이 새 Leader와 동기화를 시작한다.