Kafka란 무엇인가? Kafka 아키텍처 완벽 정리
1️⃣ Kafka란 무엇인가?
Apache Kafka 는 대규모 데이터를 실시간으로 수집하고 처리할 수 있는 분산 스트리밍 플랫폼입니다.
Kafka는 원래
- 로그 수집
- 데이터 파이프라인 구축
을 위해 만들어졌지만 지금은 실시간 데이터 플랫폼의 핵심 기술로 사용되고 있습니다.
대표 특징
✔ 높은 처리량
✔ 확장성
✔ 내구성
2️⃣ Kafka 아키텍처 구조
Kafka 시스템은 여러 구성 요소로 이루어져 있습니다.
기본 구조는 다음과 같습니다.
↓
Kafka Broker
↓
Topic
↓
Consumer
각 구성 요소의 역할을 살펴보겠습니다.
3️⃣ Kafka 주요 구성 요소
① Producer
Producer는 Kafka로 데이터를 보내는 역할을 합니다.
예시
- 웹 서비스 로그
- 사용자 이벤트
- 시스템 로그
Producer는 데이터를 Topic으로 전송합니다.
② Topic
Topic은 데이터를 저장하는 논리적인 공간입니다.
예를 들어
payment-event-topic
log-topic
각 Topic은 특정 데이터 종류를 저장합니다.
③ Broker
Broker는 Kafka 서버입니다.
여러 개의 Broker가 모여 Kafka Cluster를 구성합니다.
이 구조 덕분에 Kafka는 대규모 데이터를 안정적으로 처리할 수 있습니다.
④ Consumer
Consumer는 Kafka에서 데이터를 읽어가는 애플리케이션입니다.
예시
- 데이터 분석 시스템
- 로그 분석 시스템
- 추천 시스템
Consumer는 Topic에 저장된 데이터를 읽어 처리합니다.
4️⃣ Kafka Partition 구조
Kafka의 핵심 특징 중 하나는 Partition 구조입니다.
Topic은 여러 Partition으로 나누어집니다.
├ Partition 1
├ Partition 2
├ Partition 3
이 구조 덕분에 Kafka는 병렬 처리와 높은 처리량을 제공할 수 있습니다.
5️⃣ Kafka 활용 사례
Kafka는 다양한 시스템에서 활용됩니다.
대표 사례
✔ 실시간 로그 수집
✔ 사용자 행동 분석
✔ 실시간 데이터 파이프라인
✔ 추천 시스템 이벤트 처리
특히 대규모 서비스에서는 Kafka가 데이터 플랫폼의 중심 역할을 합니다.
📌 결론
Kafka는 현대 데이터 플랫폼에서 매우 중요한 기술입니다.
특히 다음 분야에서 핵심적인 역할을 합니다.
✔ 실시간 데이터 처리
✔ 데이터 파이프라인 구축
✔ 이벤트 기반 아키텍처
데이터 엔지니어에게 Kafka는 필수 기술 중 하나라고 할 수 있습니다.