Kafka의 구조(4) - Message Format 형태

1. Kafka 메시지의 기본 구조와 심화 구조

기본 구조 설명

Kafka 메시지: Kafka에서 주고받는정보의 '상자'이다.
- 키(Key): 어떤 '칸'에 정보를 넣을지 결정한다.
- 값(Value): 실제로 전달하려는 정보이다.
간단한 설명
1. 키(Key):
  - 메시지를 어디에 저장할지 결정한다.
  - 예를 들어, '과일'이라는 키에 '사과'라는 값을 넣으면, '과일' 칸에 '사과'가 저장된다.
2. 값(Value):
  - 실제로 전달하려는 정보이다.
  - 예를 들어, '사과'나 '바나나' 같은 데이터를 넣을 수 있다.
코드 예시

// Kafka Producer 예시 코드
import org.apache.kafka.clients.producer.*;

public class KafkaProducerExample {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092","localhost:9093","localhost:9094");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<>(props);
        ProducerRecord<String, String> record = new ProducerRecord<>("test", "key", "value");

        // 메시지 전송
        producer.send(record, new Callback() {
            public void onCompletion(RecordMetadata metadata, Exception e) {
                if (e != null) {
                    e.printStackTrace();
                } else {
                    System.out.println("메시지가 성공적으로 전송되었습니다.");
                }
            }
        });

        producer.close();
    }
}

심화 구조 설명

https://kroki.io/blockdiag/svg/eNpLyslPzk7JTExXqOZSUMgvykzNK0ksyczPU7BVKMgvKilKzCyxBsp4J6ZlJ8b7phYXJ6anKkTnJCal5tgqgUUVXq-c8qZ7zpvlDUo6Csn5OflFtko5mekZJUk5palKsWDdqZVwPW-blmgA-ZpoitOLUlPzIKrDEoEa4epfbZikARbBo8M_La04tQSu5c2MJW-ntLxp7daASKDrrEzNyckvh2gNycxNLS5JzC1AOLC54c28ljddS942rwEaowFXgc8Yj9TElNSiYoQh05e87p2iARXGpxM1ZHXtQIGFVRwcCFhlIL7EKgV3PFZZqPOsuWoB0WC7eQ==

Kafka 메시지: Kafka에서 주고받는 정보의 '상자'이다.
- 키(Key): 어떤 '칸'에 정보를 넣을지 결정한다.
- 값(Value): 실제로 전달하려는 정보이다.
- 오프셋(Offset): 메시지가 저장된 위치이다.
- 타임스탬프(Timestamp): 메시지가 생성된 시간이다.
- 헤더(Headers): 추가 메타데이터를 저장할 수 있다.
상세한 설명
1. 키(Key):
  - 메시지를 어디에 저장할지 결정한다.
  - 예를 들어, '과일'이라는 키에 '사과'라는 값을 넣으면, '과일' 칸에 '사과'가 저장된다.
2. 값(Value):
  - 실제로 전달하려는 정보이다.
  - 예를 들어, '사과'나 '바나나' 같은 데이터를 넣을 수 있다.
3. 오프셋(Offset):
  - 메시지가 저장된 위치를 나타내며, 이는 Kafka의 내부적인 처리에 주로 사용된다.
4. 타임스탬프(Timestamp):
  - 메시지가 생성된 시간을 나타낸다.
  - 이는 메시지의 순서나 유효성을 판단하는 데 사용될 수 있다.
5. 헤더(Headers):
  - 추가적인 메타데이터를 저장할 수 있다.
  - 이는 특별한 경우에 사용되며, 일반적인 사용에서는 생략될 수 있다.

코드 예시 (심화)

// Kafka Producer with Headers and Timestamp 예시 코드
import org.apache.kafka.clients.producer.*;
import java.util.Arrays;

public class AdvancedKafkaProducerExample {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<>(props);

        // 헤더 추가
        Headers headers = new RecordHeaders();
        headers.add("event-type", "user-login".getBytes());

        // 타임스탬프 추가 (현재 시간)
        long timestamp = System.currentTimeMillis();

        ProducerRecord<String, String> record = new ProducerRecord<>("test", 0, timestamp, "key", "value", headers);

        // 메시지 전송
        producer.send(record, new Callback() {
            public void onCompletion(RecordMetadata metadata, Exception e) {
                if (e != null) {
                    e.printStackTrace();
                } else {
                    System.out.println("메시지가 성공적으로 전송되었습니다.");
                }
            }
        });

        producer.close();
    }
}

이 예시에서는 헤더와 타임스탬프를 명시적으로 설정하는 방법을 보여준다. 이렇게 하면 메시지에 추가적인 메타데이터를 포함시킬 수 있다.

2. Kafka Producer와 Kafka Broker의 내부 처리

Kafka Producer
1. Partitioning:
  - Producer는 메시지를 어느 파티션에 보낼지 결정합니다. 키를 사용할 수도 있고, 키가 없다면 라운드-로빈 방식으로 파티션을 선택합니다.
2. Serialization:
  - 메시지의 키와 값은 바이트 배열로 변환되어야 하므로 직렬화 과정을 거칩니다. 이 과정에서는 설정된 Serializer 클래스가 사용됩니다.
3. Compression:
  - 메시지를 압축하여 네트워크 전송을 더 효율적으로 만들 수 있습니다. 압축 알고리즘은 Producer 설정에서 지정됩니다.
4. Batching:
  - 여러 개의 메시지를 하나의 배치로 묶어서 전송할 수 있습니다. 이렇게 하면 네트워크 I/O 호출이 줄어들어 성능이 향상됩니다.