課程綜述
Cloudera授權(quán)Apache Hadoop管理員培訓(xùn)為期四天，能夠使得學(xué)員全面理解操作及維護(hù)Hadoop集群的所有步驟：從安裝、配置到負(fù)載均衡和調(diào)優(yōu)，是Hadoop管理員面對真實(shí)環(huán)境中所有挑戰(zhàn)的最佳能力提升手段。

Hadoop的實(shí)驗(yàn)操作：
通過將講師的分享、討論與動(dòng)手實(shí)驗(yàn)相結(jié)合，學(xué)員將探索Hadoop生態(tài)系統(tǒng)的所有領(lǐng)域，學(xué)習(xí)的課題如下：
-MapReduce和HDFS的原理及如何構(gòu)建Hadoop架構(gòu)
-在數(shù)據(jù)中心中合理配置和部署集群來集成系統(tǒng)和硬件
-使用flume和Sqoop把動(dòng)態(tài)生成的文件及關(guān)系型數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)加載到集群中
-配置FairScheduler滿足集群中的多個(gè)用戶的服務(wù)級別要求
-為集群安裝和配置基于Kerberos的安全方案
-在生產(chǎn)環(huán)境中準(zhǔn)備及維護(hù)Apache Hadoop的最佳實(shí)踐
-故障分析、診斷、調(diào)優(yōu)及Hadoop的問題處理


內(nèi)容綱要
*Hadoop綜述
-Hadoop歷史簡述
-Hadoop的核心組件
-基礎(chǔ)概念
*HDFS
-HDFS的功能
-讀寫文件
-NameNode的注意事項(xiàng)
-HDFS安全綜述
-使用NameNode的Web UI
-使用Hadoop的文件shell
*將數(shù)據(jù)導(dǎo)入HDFS
-使用Flume從外部來源獲取數(shù)據(jù)
-使用Sqoop從關(guān)系型數(shù)據(jù)庫中獲取數(shù)據(jù)
-REST接口
-導(dǎo)入數(shù)據(jù)的最佳實(shí)踐
*MapReduce
-什么是MapReduce
-MapReduce的功能
-基本概念
-MapReduce的架構(gòu)
-MapReduce第二版
-故障恢復(fù)
-使用JobTracker Web UI
*規(guī)劃Hadoop集群
-規(guī)劃的常規(guī)考慮
-選擇正確的硬件
-網(wǎng)絡(luò)的考慮
-配置節(jié)點(diǎn)
-規(guī)劃集群的管理
*Hadoop的安裝和初始化配置
-部署類型
-安裝Hadoop
-Hadoop的特定配置
-完成HDFS初始化配置
-完成MapReduce的初始化配置
-日志文件
*安裝并配置Hive、Impala及Pig
-Hive
-Impala
-Pig
*Hadoop客戶端
-什么是Hadoop客戶端
-安裝和配置Hadoop客戶端
-安裝和配置Hue
-Hue的認(rèn)證與配置
*Cloudera管理器
-Cloudera管理器的初衷
-Cloudera管理的功能
-標(biāo)準(zhǔn)版和企業(yè)版
-Cloudera管理器的拓?fù)浣Y(jié)構(gòu)
-安裝Cloudera管理器
-使用Cloudera管理器安裝Hadoop
-完成基本的管理任務(wù)
-使用Cloudera管理器
*集群的高級配置
-高級配置參數(shù)
-配置Hadoop端口
-精確地定義主機(jī)
-HDFS的Rack awareness配置
-配置HDFS的高可用性
*Hadoop的安全設(shè)置
-Hadoop安全的重要性
-Hadoop安全系統(tǒng)的概念
-Kerberos概述及工作原理
-使用Kerberose實(shí)現(xiàn)Hadoop集群的安全管理
*管理并調(diào)度作業(yè)
-管理正在執(zhí)行的作業(yè)
-調(diào)度Hadoop的作業(yè)
-配置FairScheduler
*集群維護(hù)
-檢查HDFS狀態(tài)
-在集群之間拷貝數(shù)據(jù)
-添加或者刪除集群節(jié)點(diǎn)
-在集群內(nèi)實(shí)現(xiàn)均衡
-Namenode元數(shù)據(jù)備份
-集群的升級
*集群監(jiān)控和故障處理
-常規(guī)的系統(tǒng)監(jiān)控
-管理Hadoop的日志文件
-監(jiān)控Hadoop集群
-常見的故障處理問題


學(xué)員收益
在完成本課程后，學(xué)員將可以參加Cloudera關(guān)于Apache Hadoop管理員認(rèn)證（CCAH）的考試。該認(rèn)證有助于證明學(xué)員樹立在該領(lǐng)域的專業(yè)。


目標(biāo)學(xué)員
本課程適合于具有基本Linux使用經(jīng)驗(yàn)的系統(tǒng)管理員和IT經(jīng)理，不需要提前具備Apache hadoop的知識。