. YARN과 맵리듀스 1의 차이점 맵리듀스1에는 job의 실행 과정을 제어하는 하나의 jobtracker와 하나 이상의 tasktracker 두 데몬이 있으며, jobtracker는 여러 tasktracker에서 실행되는 task를 스케줄링 함으로써 시스템에서 실행되는 모든 잡을 조율 한다. tasktracker는 task를 실행하고 진행 상황을 jobtracker에 전송하기 때문에 jobtracker는 각 job의 전체적인 진행 상황을 파악할 수 있다. task가 실패하면 jobtracker는 다른 tasktracker에 그 task를 다시 스케줄링 할 수 있다. 맵리듀스1에서 jobtracker는 잡 스케줄링(task와 tasktracker를 연결)과 태스크 진행 모니터링(task를 추적하고, 실패..
█ YARN (Yet Another Resource Negotiator) 개요 ¤ YARN은? - YARN은 하둡 클러스터 자원 관리 시스템이다 - YARN은 맵리듀스의 성능을 높이기 위해 하둡2 에서 처음 도입되었다. (최초 도입 이유) - YARN은 맵리듀스뿐만 아니라 다른 분산 컴퓨팅 도구도 지원한다. (현재 발전 방향) ¤ YARN 어떻게 사용 하는가? - YARN은 클러스터의 자원을 요청/사용 하기 위한 API를 제공. But 사용자 코드에서 직접 이러한 API를 사용 할 수는 없다. 사용자는 YARN이 내장된 분산 컴퓨팅 프레임워크(엔진)에서 고수준 API를 작성/사용 할 수 있고, - 따라서 사용자는 자원 관리의 자세한 내용은 알 수 없다. ¤ YARN 애플리케이션 전체 구조 맵리듀스, 스파..