1️⃣ 데이터 웨어하우스란?데이터 웨어하우스(Data Warehouse)는분석과 리포팅을 위해 정제된 데이터를 저장하는 시스템입니다.일반적인 데이터 흐름은 다음과 같습니다.데이터 수집 ↓데이터 정제 (ETL) ↓데이터 웨어하우스 저장 ↓BI 분석 즉, 데이터를 바로 저장하는 것이 아니라👉 분석하기 좋은 형태로 가공해서 저장합니다.2️⃣ 데이터 웨어하우스 특징데이터 웨어하우스는 다음과 같은 특징을 가지고 있습니다.✔ 정형 데이터 중심테이블 형태의 구조화된 데이터 저장✔ 빠른 쿼리 성능BI 분석에 최적화된 구조✔ 데이터 통합여러 시스템의 데이터를 하나로 통합✔ 히스토리 데이터 관리과거 데이터를 장기간 저장3️⃣ 데이터 웨어하우스 아키텍처일반적인 구조는 다음과 같습니다.Source System ↓ETL / ..
1️⃣ ETL과 ELT란 무엇인가?데이터 엔지니어링에서 데이터를 처리하는 방식은 크게 두 가지가 있습니다.✔ ETL (Extract, Transform, Load)데이터 추출 → 데이터 변환 → 데이터 저장 ✔ ELT (Extract, Load, Transform)데이터 추출 → 데이터 저장 → 데이터 변환 즉 핵심 차이는 변환(Transform)이 언제 수행되는가입니다.2️⃣ ETL 방식 설명ETL은 전통적인 데이터 처리 방식입니다.동작 방식1️⃣ 데이터 추출 (Extract)2️⃣ 데이터 변환 (Transform)3️⃣ 데이터 저장 (Load)특징✔ 데이터를 미리 정제✔ 정형 데이터 중심✔ 데이터 품질 안정적단점처리 속도 느림유연성 부족대용량 데이터 처리 어려움3️⃣ ELT 방식 설명ELT는 최근 많..
1️⃣ 데이터 메시(Data Mesh)란 무엇인가?데이터 메시(Data Mesh)는 도메인 중심의 분산 데이터 아키텍처입니다.쉽게 말하면데이터 플랫폼을 하나의 중앙 조직이 관리하는 것이 아니라 각 도메인 팀이 책임지는 구조입니다.예를 들어 기업 조직이 다음과 같이 나뉘어 있다고 가정해 보겠습니다.커머스 팀마케팅 팀고객 분석 팀기존 방식에서는 데이터 플랫폼 팀이 모든 데이터를 관리했습니다.하지만 데이터 메시에서는각 팀이 자신의 데이터를 직접 관리하고 제공하는 방식입니다.이러한 접근 방식은 데이터 확장성과 조직 효율성을 높이는 데 목적이 있습니다.2️⃣ 왜 데이터 메시가 등장했을까?대규모 기업에서는 데이터 플랫폼이 점점 복잡해지는 문제가 있습니다.대표적인 문제는 다음과 같습니다.✔ 중앙 데이터 팀의 병목 현..
1️⃣ 데이터 레이크하우스란 무엇인가?데이터 플랫폼은 그동안 두 가지 방식으로 발전해 왔습니다.데이터 레이크 (Data Lake)특징다양한 데이터 저장 가능대용량 데이터 처리 가능구조화/비정형 데이터 저장대표 기술HadoopObject Storage하지만 문제도 있었습니다.데이터 관리 어려움쿼리 성능 문제데이터 품질 관리 어려움데이터 웨어하우스 (Data Warehouse)특징빠른 분석 쿼리정형 데이터 중심BI 분석에 최적화대표 기술SnowflakeGoogle BigQueryAmazon Redshift하지만 단점도 있습니다.저장 비용 증가유연성 부족비정형 데이터 처리 어려움2️⃣ 그래서 등장한 것이 “레이크하우스”데이터 레이크하우스는 두 시스템의 장점을 결합한 구조입니다.즉데이터 레이크의 유연성 + 데이..