【時間地點】 | 2013年10月26-27日 杭州 (25日報到) | ||
【培訓講師】 | 王老師 | ||
【參加對象】 | 軟件工程師、數(shù)據(jù)庫開發(fā)人員、網(wǎng)絡后臺開發(fā)人員、運維人員等。學員要求有一定的Java編程基礎。 | ||
【參加費用】 | ¥4500元/人 (含培訓費、考試費、證書費、資料費、午餐) 食宿統(tǒng)一安排,費用自理。(請學員帶二寸彩照2張—背面注明姓名,身份證復印件一張)。 | ||
【會務組織】 | 森濤培訓網(wǎng)(m.dbslw.com.cn).廣州三策企業(yè)管理咨詢有限公司 | ||
【咨詢電話】 | 020-34071250;020-34071978(提前報名可享受更多優(yōu)惠) | ||
【聯(lián) 系 人】 | 龐先生,鄧小姐;13378458028、18924110388(均可加微信) | ||
【在線 QQ 】 | 568499978 | 課綱下載 | |
【溫馨提示】 | 本課程可引進到企業(yè)內(nèi)部培訓,歡迎來電預約! |
各有關單位:
● 課程目標
1. 全面掌握Hadoop的架構原理和使用場景;
2. 全程項目實戰(zhàn)訓練;
3. 徹底掌握使用Hadoop進行MapReduce程序開發(fā);
4. 熟悉分布式計算領域的常用算法;
● 授課師資
王老師 國內(nèi)最早從事于Hadoop框架應用程序軟件開發(fā)以及Hadoop解決方案專家。業(yè)界知名資深IT技術培訓講師、多家著名公司的技術顧問。
● 培訓證書
本課程頒發(fā)雙證,證書查詢:www。ncie。gov。cn;
1、工業(yè)和信息化部人才交流中心頒發(fā)的《全國信息化工程師》證書。
證書可作為專業(yè)技術人員職業(yè)能力考核的證明,以及專業(yè)技術人員崗位聘用、任職、定級和晉升職務的重要依據(jù)。
● 具體課程安排
第一天
第1個主題:Hadoop MapReduce
1. Hadoop JobTracker 剖析
2.Hadoop TaskTracker 剖析
3.Hadoop 任務提交流程剖析
第2個主題: Hadoop MapReduce Streaming編程
1. Hadoop Streaming 和 Java MapReduce Api 差異
2. 使用 MapReduce 實現(xiàn)數(shù)據(jù)庫功能
第3個主題:MapReduce分布式程序
1. MapReduce流程
2.剖析一個MapReduce程序
3.基本MapReduceAPI 概念
4.驅(qū)動代碼 5.Mapper
6.Reducer
7.API 使用Eclipse進行快速開發(fā)
8.新MapReduce API
第4個主題:Hadoop 核心代碼剖析
1. Hadoop Mapper 類核心代碼剖析
2. Hadoop Reducer 類核心代碼剖析
第5個主題:HDFS分布式文件系統(tǒng)編程
1. Hadoop HDFS 剖析
2. Hadoop NameNode 剖析
3. Hadoop DataNode 剖析
4. hadoop I/O 操作
5. 使用Hadoop HDFS API對HDFS編程
第二天
第1個主題:Hadoop Mapreduce高級編程
1.ToolRunner介紹
2.使用MRUnit進行測試
3.利用Combiners來減少中間數(shù)據(jù)
4.使用Configure和Close方法來進行Map/Reduce設置和關閉
5.編寫Partitioner來優(yōu)化負載平衡
6.直接訪問Hadoop分布式文件系統(tǒng)(HDFS)
7.使用分布式緩存(Distributed Cache)
第2個主題:MapReduce的優(yōu)化
1. map優(yōu)化
2. reduce優(yōu)化
3. 小文件優(yōu)化
第3個主題:MapReduce的任務調(diào)度
1. Queue調(diào)度的使用
2. 公平調(diào)度的使用
3. 能力調(diào)度的使用
第4個主題:MapReduce編程實戰(zhàn)
1. Hadoop的join操作
2. Hadoop的二次排序
3. Hadoop的海量日志分析
第5個主題:flume+hadoop日志收集實戰(zhàn)
1. flume介紹
2. flume核心組件講解
3. flume自帶的組件分析
4. flume二次開發(fā)實戰(zhàn)
第三天
第1個主題:Hadoop的來源和動機
1.傳統(tǒng)大規(guī)模系統(tǒng)存在的問題
2.對一種新的解決方案的需求
第2個主題:Hadoop安裝和部署準備
1. Hadoop系統(tǒng)模塊組件概述
2. Hadoop試驗集群的部署結(jié)構
3. Hadoop 安裝依賴關系
4. Hadoop 生產(chǎn)環(huán)境的部署結(jié)構
第3個主題:Hadoop集群安裝和部署
1. Red hat Linux基礎環(huán)境搭建 上機實驗
2. Hadoop 單機系統(tǒng)版本 安裝配置 上機實驗
3. Hadoop 集群系統(tǒng)版本 安裝和啟動配置 上機實驗
4. Hadoop 集群異常Debug 方法
5. Hadoop 集群簡單測試方法
6. 使用 Hadoop MapReduce Streaming 快速測試系統(tǒng)
第4個主題:Hadoop組件詳解
1. Hadoop HDFS 基本結(jié)構
2. Hadoop HDFS 副本存放策略
3. Hadoop NameNode 詳解
4. Hadoop SecondaryNameNode 詳解
5. Hadoop DataNode 詳解
6. Hadoop JobTracker 詳解
7. Hadoop TaskTracker 詳解
第5個主題:Hadoop集群配置詳解
1. Hadoop core-site,hdfs-site,mapred-site 配置詳解
2. Hadoop 高可用配置方法
第1個主題:Hadoop集群配置:機架感知,開啟壓縮和任務均衡
Hadoop 集群安裝和開啟LZO壓縮
Hadoop 配置集群具備機架感知
Hadoop 集群開啟公平任務調(diào)度器
Hadoop 集群開啟能力任務調(diào)度器
第2個主題:Hadoop 集群維護與管理
查看集群狀態(tài)
HDFS數(shù)據(jù)管理
Mapreduce 任務管理
HDFS安全模式
模擬集群Namenode,jobtrack失效
添加刪除節(jié)點
數(shù)據(jù)平衡
文件數(shù)據(jù)跨集群拷貝
集群升級
第3個主題:Hadoop 集群規(guī)劃和測試
集群規(guī)劃(硬件,系統(tǒng),網(wǎng)絡)
集群性能測試
第4個主題:Hadoop 集群監(jiān)控和運維
1. 使用Ganglia 監(jiān)控Hadoop集群
2. 使用Cacti 監(jiān)控操作系統(tǒng)
第5個主題:Hadoop HDFS高可用
Hadoop 元數(shù)據(jù)NFS備份方案
Hadoop SecondaryNameNode備份方案
Hadoop CheckpointNode備份方案
Hadoop BackupNode備份方案
Hadoop Cloudera HA Namenode 方案