맵리듀스란? 맵리듀스는 데이터 처리를 위한 프로그래밍 모델이다. 하둡은 다양한 언어로 작성된 맵리듀스 프로그램을 구동시킬 수 있다. 맵리듀스는 태생 자체가 병행성을 고려하여 설계되었고, 누구든지 충분한 장비만 갖추고 있다면 대규모 데이터 분석을 할 수 있다. 맵리듀스는 대용량 데이터셋에서 그 진가가 드러난다. 예제를 통해서 맵리듀스의 프로그래밍 모델을 살펴보도록 하자. 1. 기상 데이터셋 █ 지구 전지역에서 매시간 데이터를 수집하는 기상 센서들은 대량의 로그 데이터를 모으는데, 이러한 데이터는반구조적(semi-structed)이면서 레코드 지향적(record-oriented)이기 때문에 맵리듀스를 이용한 데이터 분석에 적합하다. █ 데이터는 국립기후자료센터(NCDC, http://www.ncdc.noaa..
Docker 실습하기 도커 centos 이미 환경 인터넷에서 다운받는 방법 Docker pull centos:7 다운 받아진 이미지 확인 방법 Docker images 도커 이미지 생성 방법 docker create -i -t --name mycentos centos:7 Docker run -I -t ubuntu:14.04 도커 실행 방법 Docker start mycentos 도커 접속 방법 Docker attach mycentos 도커 삭제 Docker rm mycentos 도커 정지 Docker stop 도커 이미지 전체 삭제 Docker container prune 도커 로그 docker logs mysql 도커는 컨테이너에 내부 IP를 순차적으로 할당하며, 이 IP는 컨테이너를 재시작할때마다 변..
도커엔진이란? 도커이미지 image는 container를 생성할때 필요한 요소 가상 머신을 생성할 떄 사용하는 iso 파일과 비슷한 개념 이미지는 여러 개의 계층으로 된 바이너리 파일로 존재 컨테이너를 생성하고 실행할 때 읽기 전용으로 사용 (수정 불가) 이미지는 도커 명령어로 내려받을 수 있으므로 별도로 설치할 필요는 없음. 도커 이미지의 이름 구성 [저장소 이름] / [이미지 이름] : [태그(버전)] * 저장소 : 이미지가 저장된 저장소를 의미, 몇시되지 않은 이미지는 기본적으로 제공하는 도커 허브(docker hub)의 공식(official) 이미지를 의미 * 이미지 이름 : 어떤 역할을 하는지 나타내고 반드시 설정(ex, mysql, centos 등) * 태그 : 버전 관리, 혹은 리비전 관리에..
허니허니의 블로그입니다. 이제새롭게 시작하는 블로그인 만큼 열심히 목표한 바를 이루기 위해서 열심히 하겠습니다. 감사합니다.