1️⃣ Kafka Consumer Lag이란?Apache Kafka 에서 Consumer Lag은👉 Producer가 보낸 데이터와 Consumer가 처리한 데이터의 차이를 의미합니다.쉽게 설명하면Producer → 데이터 생성Consumer → 데이터 처리 👉 Consumer가 따라가지 못하면 Lag 발생2️⃣ Kafka Lag이 발생하는 이유실무에서 가장 흔한 원인은 다음과 같습니다.✔ 1. Consumer 처리 속도 부족데이터 처리 로직이 느림외부 API 호출 지연DB 쓰기 속도 문제✔ 2. Partition 수 부족Kafka는 Partition 기반으로 병렬 처리합니다.👉 Partition이 적으면 처리 속도가 제한됩니다.✔ 3. Consumer 수 부족Consumer 수가 적으면 처리량이 ..
1️⃣ Kafka란 무엇인가?Apache Kafka 는 대규모 데이터를 실시간으로 수집하고 처리할 수 있는 분산 스트리밍 플랫폼입니다.Kafka는 원래로그 수집데이터 파이프라인 구축을 위해 만들어졌지만 지금은 실시간 데이터 플랫폼의 핵심 기술로 사용되고 있습니다.대표 특징✔ 높은 처리량✔ 확장성✔ 내구성2️⃣ Kafka 아키텍처 구조Kafka 시스템은 여러 구성 요소로 이루어져 있습니다.기본 구조는 다음과 같습니다.Producer ↓Kafka Broker ↓Topic ↓Consumer 각 구성 요소의 역할을 살펴보겠습니다.3️⃣ Kafka 주요 구성 요소① ProducerProducer는 Kafka로 데이터를 보내는 역할을 합니다.예시웹 서비스 로그사용자 이벤트시스템 로그Producer는 데이터를 Top..
1️⃣ 실시간 데이터 파이프라인이란?실시간 데이터 파이프라인은 데이터가 생성되는 즉시 수집하고 처리하는 시스템입니다.기존 데이터 처리 방식은 보통 **배치 처리(Batch Processing)**였습니다.예시하루에 한 번 데이터 처리일정 시간마다 데이터 분석하지만 실시간 시스템에서는 데이터가 발생하자마자 처리합니다.2️⃣ 실시간 데이터 파이프라인 구조일반적인 구조는 다음과 같습니다.데이터 생성 ↓스트리밍 시스템 ↓데이터 처리 ↓데이터 저장 ↓분석 / 서비스 이 구조를 통해 기업은 실시간 분석과 빠른 의사결정이 가능합니다.3️⃣ 실시간 데이터 파이프라인 핵심 기술실시간 데이터 플랫폼에서는 여러 기술이 함께 사용됩니다.① 데이터 스트리밍대표 기술Apache KafkaKafka는 대규모 데이터를 안정적으로 스..
