1️⃣ Kafka Consumer Lag이란?Apache Kafka 에서 Consumer Lag은👉 Producer가 보낸 데이터와 Consumer가 처리한 데이터의 차이를 의미합니다.쉽게 설명하면Producer → 데이터 생성Consumer → 데이터 처리 👉 Consumer가 따라가지 못하면 Lag 발생2️⃣ Kafka Lag이 발생하는 이유실무에서 가장 흔한 원인은 다음과 같습니다.✔ 1. Consumer 처리 속도 부족데이터 처리 로직이 느림외부 API 호출 지연DB 쓰기 속도 문제✔ 2. Partition 수 부족Kafka는 Partition 기반으로 병렬 처리합니다.👉 Partition이 적으면 처리 속도가 제한됩니다.✔ 3. Consumer 수 부족Consumer 수가 적으면 처리량이 ..
1️⃣ Kafka와 RabbitMQ란?✔ Apache Kafka이벤트 스트리밍 플랫폼대용량 데이터 처리로그 기반 시스템✔ RabbitMQ메시지 큐 시스템안정적인 메시지 전달작업 큐 처리👉 핵심 차이Kafka → 데이터 스트리밍 플랫폼RabbitMQ → 메시지 큐 시스템2️⃣ 아키텍처 차이🔹 Kafka 구조Producer → Broker → Topic → Consumer 데이터 저장 가능Consumer가 여러 번 읽기 가능🔹 RabbitMQ 구조Producer → Exchange → Queue → Consumer 메시지 전달 후 삭제큐 기반 처리3️⃣ 핵심 차이 비교항목KafkaRabbitMQ목적데이터 스트리밍메시지 전달데이터 저장가능제한적처리 방식Pull 기반Push 기반확장성매우 높음중간처리량매우..
