1️⃣ Spark와 Flink란?데이터 엔지니어링에서 대용량 데이터를 처리할 때 사용하는 대표 기술입니다.✔ Apache Spark배치 처리 중심마이크로 배치 스트리밍 지원대규모 데이터 처리에 강점✔ Apache Flink진짜 스트리밍 처리실시간 데이터 처리 최적화낮은 지연(latency)2️⃣ 핵심 차이: 처리 방식가장 중요한 차이는 데이터 처리 방식입니다.🔹 Spark (마이크로 배치)데이터를 작은 배치 단위로 묶어서 처리 일정 시간마다 처리약간의 지연 발생🔹 Flink (진짜 스트리밍)데이터가 들어오는 즉시 처리 실시간 처리매우 낮은 지연3️⃣ Spark vs Flink 비교항목SparkFlink처리 방식마이크로 배치진짜 스트리밍지연 시간중간매우 낮음사용 사례배치 + 스트리밍실시간 처리학습 난이..
