일반적으로 데이터베이스, 큐, 캐시 등을 매우 다른 범주에 속하는 도구로 생각한다. 데이터베이스와 메시지 큐는 표멵거으로 비슷하더라도 (둘 다 얼마동안 데이터를 저장) 매우 다른 접근 패턴을 갖고 있어 서로 다른 성능 특성이 있기 때문에 구현 방식이 매우 다르다. 그러면 모든 것을 왜 데이터 시스템이라는 포괄적 용어로 묶어야 할까? 데이터 저장과 처리를 위한 여러 새로운 도구는 최근에 만들어졌다. 새로운 도구들은 다양한 사용사례(use case)에 최적화 되었기 때문에 더 이상 전통적인 분류에 딱 들어맞지 않는다. 예를들어 메시지 큐로 사용하는 데이터스토어인 레디스가 있고, 데이터베이스처럼 지속성을 보장하는 메시지 큐인 아파치 카프카도 있다. 분류 간 경계가 흐려지고 있다. 두 번째로 점점 더 많은 애플..
데이터 중심 애플리케이션(Data-intensive application)은 이러한 기술적 발전을 활용해 실현 가능한 범위를 넓힌다. 데이터 양, 데이터 복잡성, 데이터가 변하는 속도 등, 데이터가 주요 도전 과제인 애플리케이션을 데이터중심적(data-intensive)이라고 말한다. 반대로 CPU 사이클이 병목인 경우 계산 중심적(compute-intensive) 이라고 한다. 데이터 중심적 애플리케이션의 데이터 저장과 처리를 돕는 도구와 기술은 이런 변화에 빠르게 적응한다. NoSQL 같은 새로운 종류의 데이터 베이스 시스템이 많은 주목을 받고 있지만 메시지 큐, 캐시, 검색 색인, 일괄 처리 프레임워크와 스트림 처리 프레임워크, 그리고 해당 관련 기술도 NoSQL 못지 않게 매우 중요하다. 많은 애..