(거침 없이 배우는) 하둡

목차 (Table of Contents)

• 목차
• PART 01 하둡 - 분산 프로그래밍 프레임워크
• CHAPTER 01 하둡 소개 = 2
• 1.1 왜 하둡의 실행을 다루는가? = 3
• 1.2 하둡은 무엇인가? = 4
• 1.3 분산 시스템과 하둡의 이해 = 5
• 1.4 SQL 데이터베이스와 하둡의 비교 = 7
• 1.5 MapReduce의 이해 = 9
• 1.5.1 간단한 프로그램의 확장 = 9
• 1.5.2 동일한 프로그램을 MapReduce를 이용해 확장 = 13
• 1.6 하둡을 이용한 단어 세기 - 프로그램의 첫 번째 실행 = 16
• 1.7 하둡의 역사 = 22
• 1.8 요약 = 23
• 1.9 참고 자료 = 24
• CHAPTER 02 하둡 시작하기 = 25
• 2.1 하둡의 구성 요소 = 25
• 2.1.1 NameNode = 26
• 2.1.2 DataNode = 27
• 2.1.3 Secondary NameNode = 28
• 2.1.4 JobTracker = 28
• 2.1.5 TaskTracker = 29
• 2.2 하둡 클러스터를 위한 SSH의 설정 = 30
• 2.2.1 일반적인 계정 정의 = 31
• 2.2.2 SSH 설치와 확인 = 31
• 2.2.3 쌍으로 이루어진 SSH 키의 생성 = 32
• 2.2.4 공개 키 배포와 로그인 테스트 = 32
• 2.3 하둡의 실행 = 33
• 2.3.1 Standalone(독립실행) 모드 = 34
• 2.3.2 Pseudo-distributed(가상분산) 모드 = 35
• 2.3.3 Fully distributed(완전분산) 모드 = 37
• 2.4 웹 기반의 클러스터 UI = 41
• 2.5 요약 = 43
• CHAPTER 03 하둡 컴포넌트 = 44
• 3.1 하둡 파일 다루기 = 45
• 3.1.1 기본적인 파일 명령어 = 45
• 3.1.2 프로그램을 이용한 HDFS의 읽기와 쓰기 = 50
• 3.2 MapReduce 프로그램의 구조 = 54
• 3.2.1 하둡 데이터 타입 = 55
• 3.2.2 Mapper = 57
• 3.2.3 Reducer = 58
• 3.2.4 Partitioner - Mapper 결과를 여러 Reducer로 전달 = 59
• 3.2.5 Combiner - 로컬 reduce = 61
• 3.2.6 미리 정의된 mapper와 reducer 클래스를 이용한 단어 세기 = 61
• 3.3 읽기와 쓰기 = 62
• 3.3.1 InputFormat = 63
• 3.3.2 OutputFormat = 69
• 3.4 요약 = 71
• PART 02 하둡 인 액션
• CHAPTER 04 MapReduce 기본 프로그램 작성 = 74
• 4.1 특허 데이터 가져오기 = 75
• 4.1.1 특허 인용 데이터 = 76
• 4.1.2 특허 기술 데이터 = 77
• 4.2 MapReduce 프로그램의 기본 템플릿(견본) 작성 = 79
• 4.3 카운팅하기 = 85
• 4.4 변경된 하둡 API 적용 = 91
• 4.5 하둡 Streaming = 95
• 4.5.1 유닉스 명령어 기반의 Streaming = 96
• 4.5.2 스크립트를 이용한 Streaming 처리 = 97
• 4.5.3 키／값 쌍을 이용한 Streaming = 103
• 4.5.4 Aggregate 패키지를 이용한 Streaming = 107
• 4.6 Combiners를 이용한 성능의 향상 = 113
• 4.7 배운 내용 연습 = 117
• 4.8 요약 = 119
• 4.9 참고 자료 = 120
• CHAPTER 05 고급 MapReduce = 122
• 5.1 MapReduce job들의 사슬 엮기 = 123
• 5.1.1 MapReduce job들을 순서대로 연결하기 = 123
• 5.1.2 복잡한 의존 관계에 있는 MapReduce job들의 사슬 연결 = 123
• 5.1.3 전처리와 후처리 단계를 사슬 관계로 처리하기 = 124
• 5.2 다양한 자료를 활용하기 위한 데이터 조인 = 129
• 5.2.1 Reduce-side 조인 = 130
• 5.2.2 분산 캐시(distributed cache)를 사용한 replicated 조인 = 141
• 5.2.3 Semijoin(중간 형태의 조인): reduce 단계의 조인과 map 단계의 필터링 = 145
• 5.3 Bloom 필터의 생성 = 147
• 5.3.1 Bloom 필터의 기능 = 147
• 5.3.2 Bloom 필터의 실행 = 150
• 5.3.3 하둡 0.20＋버전에서의 Bloom 필터 = 158
• 5.4 배운 내용 연습 = 158
• 5.5 요약 = 160
• 5.6 참고 자료 = 160
• CHAPTER 06 프로그래밍 연습 = 162
• 6.1 MapReduce 프로그램의 개발 = 163
• 6.1.1 Local(독립실행) 모드 = 164
• 6.1.2 Pseudo-distributed(가상분산) 모드 = 170
• 6.2 Production 클러스터의 모니터링과 디버깅 = 176
• 6.2.1 카운터 = 176
• 6.2.2 잘못된 레코드 건너뛰기 = 179
• 6.2.3 IsolationRunner를 이용한 실패한 태스크의 재실행 = 182
• 6.3 성능 향상을 위한 튜닝 = 184
• 6.3.1 Combiner에서 네트워크 트래픽의 개선 = 184
• 6.3.2 입력 데이터량의 감소 = 185
• 6.3.3 압축의 이용 = 185
• 6.3.4 JVM의 재사용 = 188
• 6.3.5 추론적인 실행(speculative execution)을 통한 동작 = 189
• 6.3.6 코드와 알고리즘의 수정 = 191
• 6.4 요약 = 192
• CHAPTER 07 Cookbook = 193
• 7.1 Job 관련 파라미터를 태스크로 전달 = 193
• 7.2 태스크 관련 정보 검색 = 197
• 7.3 다수의 출력 파일들로 파티셔닝 = 198
• 7.4 데이터베이스로부터 입력, 데이터베이스로의 출력 = 205
• 7.5 모든 출력을 정렬된 순서로 유지 = 207
• 7.6 요약 = 209
• CHAPTER 08 하둡 관리 = 210
• 8.1 실사용을 위한 파라미터 값 설정 = 211
• 8.2 시스템 Health 체크 = 213
• 8.3 권한 설정 = 216
• 8.4 쿼터 관리 = 217
• 8.5 휴지통(trash) 활성화 = 218
• 8.6 DataNode 제거 = 219
• 8.7 DataNode 등록 = 220
• 8.8 NameNode 관리와 Secondary NameNode = 221
• 8.9 NameNode 장애복구 = 223
• 8.10 네트워크 레이아웃과 랙 인식 디자인 = 225
• 8.11 다수 사용자의 job 스케줄링 = 228
• 8.11.1 다수의 JobTracker = 228
• 8.11.2 Fair Scheduler = 229
• 8.12 요약 = 232
• PART 03 하둡의 성장
• CHAPTER 09 클라우드에서 하둡 수행 = 234
• 9.1 아마존 웹 서비스(AWS) 소개 = 235
• 9.2 AWS 설정 = 236
• 9.2.1 AWS 인증 정보(credentials) 가져오기 = 237
• 9.2.2 커맨드 라인 툴 = 240
• 9.2.3 SSH 키 쌍 준비 = 242
• 9.3 EC2에서 하둡 설정 = 244
• 9.3.1 보안 파라미터 설정 = 244
• 9.3.2 클러스터 타입 구성 = 244
• 9.4 EC2에서 MapReduce 프로그램 수행 = 246
• 9.4.1 애플리케이션 코드를 하둡 클러스터로 전송 = 247
• 9.4.2 하둡 클러스터에 있는 데이터 접근 = 248
• 9.5 EC2 인스턴스 종료 및 정리 = 253
• 9.6 아마존 EMR과 그 외 AWS 서비스 = 254
• 9.6.1 아마존 EMR = 254
• 9.6.2 AWS Import／Export = 256
• 9.7 요약 = 256
• CHAPTER 10 Pig 프로그래밍 = 258
• 10.1 Pig처럼 생각하기 = 259
• 10.1.1 데이터 흐름 언어 = 259
• 10.1.2 데이터 형식 = 260
• 10.1.3 사용자 정의 함수 = 260
• 10.2 Pig 설치 = 260
• 10.3 Pig 수행 = 262
• 10.3.1 Grunt 셸 관리 = 263
• 10.4 Grunt로부터 Pig Latin 수행 = 265
• 10.5 Pig Latin = 271
• 10.5.1 데이터 타입과 스키마 = 271
• 10.5.2 표현(expression)과 함수(function) = 273
• 10.5.3 관계 연산자 = 275
• 10.5.4 실행 최적화 = 285
• 10.6 사용자 정의 함수 사용 = 286
• 10.6.1 사용자 정의 함수 사용 = 286
• 10.6.2 사용자 정의 함수 작성 = 287
• 10.7 스크립트 수행 = 291
• 10.7.1 주석 = 291
• 10.7.2 파라미터 치환 = 292
• 10.7.3 멀티쿼리(multiquery) 실행 = 293
• 10.8 유사한 특허들을 계산하는 예제 = 295
• 10.9 요약 = 301
• CHAPTER 11 Hive와 하둡 지원 프로젝트들 = 302
• 11.1 Hive = 303
• 11.1.1 Hive의 설치와 구성 = 304
• 11.1.2 쿼리 예제 = 307
• 11.1.3 HiveQL = 311
• 11.1.4 Hive 요약 = 320
• 11.2 하둡과 관련된 또 다른 프로젝트 = 322
• 11.2.1 HBase = 323
• 11.2.2 ZooKeeper = 323
• 11.2.3 Cascading = 323
• 11.2.4 Cloudera = 324
• 11.2.5 Katta = 324
• 11.2.6 CloudBase = 325
• 11.2.7 Aster Data와 Greenplum = 325
• 11.2.8 Hama와 Mahout = 325
• 11.2.9 search-hadoop.com = 326
• 11.3 요약 = 326
• CHAPTER 12 사례연구 = 327
• 12.1 뉴욕 타임즈 보관소에 있는 천백만 개의 이미지 문서 변환 = 328
• 12.2 차이나 모바일에서의 데이터 마이닝 = 329
• 12.3 스텀블어폰에서 최고의 웹사이트 추천 = 335
• 12.3.1 스텀블어폰에서 분산 처리 시작 = 335
• 12.3.2 HBase와 스텀블어폰 = 336
• 12.3.3 스텀블어폰에서 하둡 이상의 것들 = 345
• 12.4 기업용 검색을 위한 분석- IBM Project ES2 = 347
• 12.4.1 ES2 구조 = 351
• 12.4.2 ES2 크롤러 = 352
• 12.4.3 ES2 분석 = 354
• 12.4.4 결론 = 364
• 12.4.5 참고 자료 = 364
• 부록 : HDFS 파일 명령어 = 366
• 찾아보기 = 370