課程綜述
Cloudera授權(quán)Apache Hadoop開(kāi)發(fā)者培訓(xùn)為期四天，能夠使得學(xué)員全面理解使用Apache Hadoop創(chuàng)建強(qiáng)大數(shù)據(jù)處理程序的關(guān)鍵概念和實(shí)踐經(jīng)驗(yàn)：從工作流部署到使用API編寫(xiě)MapReduce代碼并執(zhí)行，是Hadoop開(kāi)發(fā)者面對(duì)真實(shí)環(huán)境中所有挑戰(zhàn)的最佳能力提升手段。
Hadoop的實(shí)驗(yàn)操作：
通過(guò)將講師的分享、討論與動(dòng)手實(shí)驗(yàn)相結(jié)合，學(xué)員將探索Hadoop生態(tài)系統(tǒng)的所有領(lǐng)域，學(xué)習(xí)的課題如下：
*MapReduce和HDFS的原理及如何編寫(xiě)MapReduce代碼
*Hadoop開(kāi)發(fā)、調(diào)試及應(yīng)用工作流和常用算法的最佳實(shí)踐
*如何整合Hive、Pig、Sqoop、Flume、Oozie、Mahout及其他Hadoop生態(tài)系統(tǒng)中的項(xiàng)目
*在數(shù)據(jù)中心中優(yōu)化硬件配置及網(wǎng)絡(luò)來(lái)集成Hadoop集群
*在MapReduce中編寫(xiě)和執(zhí)行Jion來(lái)連接數(shù)據(jù)集
*真實(shí)環(huán)境中數(shù)據(jù)分析所需的高級(jí)Hadoop API話題


內(nèi)容綱要
*Hadoop的意圖
-傳統(tǒng)大型可擴(kuò)展系統(tǒng)的問(wèn)題
-對(duì)新方式的需求
-Hadoop簡(jiǎn)述
*Hadoop：基本概念
-Hadoop項(xiàng)目及Hadoop組件
-Hadoop分布式文件系統(tǒng)
-使用HDFS
-MapReduce是如何工作的
-Hadoop集群是如何運(yùn)作的
-其他Hadoop生態(tài)系統(tǒng)的項(xiàng)目
*MapReduce介紹
-什么是MapReduce
-MapReduce的功能
-基本概念
-MapReduce的架構(gòu)
-MapReduce第二版
-故障恢復(fù)
-使用JobTracker Web UI
*Hadoop集群和生態(tài)系統(tǒng)
-Hadoop集群概述
-Hadoop的Job和Task
-Hadoop生態(tài)系統(tǒng)其他組件
*編寫(xiě)Hadoop程序（Java）
-Map Reduce API基本概念
-通過(guò)Java編寫(xiě)Map reduce（driver，mappers，reducers）
-通過(guò)Eclipse加速Hadoop開(kāi)發(fā)
-Map Reduce API的新舊差異
*通過(guò)流編寫(xiě)Map Reduce
-通過(guò)流API編寫(xiě)Mappers和Reducers
*Unit測(cè)試MapReduce程序
-Unit測(cè)試
-JUnit和MRUnit測(cè)試架構(gòu)
-通過(guò)MRUnit編寫(xiě)JUnit
-運(yùn)行Unit測(cè)試
*Hadoop API深入研究
-Tool Runner類(lèi)的使用
-Mapper和Reducer的內(nèi)涵
-通過(guò)Combiner減少數(shù)據(jù)交互量
-接觸HDFS編程
-分布式緩存的使用
-Hadoop API庫(kù)的使用
*開(kāi)發(fā)點(diǎn)和技巧實(shí)踐
-Map reduce代碼調(diào)試的策略
-Map Reduce代碼的本地測(cè)試
-日志文件的查看
-任務(wù)信息回收
-對(duì)象重用
-Map-Only的Map reduce工作創(chuàng)建
*Partitioners和Reducers
-Partitioners和Reducers的共同使用
-Job的最優(yōu)reducers數(shù)量決定
-客戶化partitioners開(kāi)發(fā)
*數(shù)據(jù)的輸入和輸出
-客戶可寫(xiě)實(shí)現(xiàn)的創(chuàng)建
-Binary數(shù)據(jù)保存
-文件壓縮的考慮
-客戶定義輸入和輸出格式實(shí)現(xiàn)
*Map Reduce通用算法
-大數(shù)據(jù)集的分類(lèi)和查詢
-數(shù)據(jù)索引
-計(jì)算術(shù)語(yǔ)頻率
-單詞的計(jì)算
-第二分類(lèi)實(shí)現(xiàn)
*Map Reduce工作的數(shù)據(jù)集加入
-編寫(xiě)Map-Slide加入
-編寫(xiě)Reduce-Slide加入
*Hadoop與企業(yè)工作流的集成
-企業(yè)新使用hadoop集成
-RDBMS數(shù)據(jù)到HDFS的遷移
-實(shí)時(shí)數(shù)據(jù)管理
-傳統(tǒng)系統(tǒng)對(duì)HDFS的訪問(wèn)
*Hive，Impala，Pig介紹
-Hive，Impala，Pig的激勵(lì)
-Hive介紹
-Impala介紹
-Pig介紹
-三者的選擇
*Oozie介紹
-什么是Oozie
-Oozie工作流的創(chuàng)建


學(xué)員收益
在完成本課程后，學(xué)員將可以參加Cloudera關(guān)于Apache Hadoop開(kāi)發(fā)者認(rèn)證（CCDH）的考試，該認(rèn)證將證明學(xué)員在該領(lǐng)域的專(zhuān)業(yè)能力。


目標(biāo)學(xué)員
本課程適合于具有基本編程經(jīng)驗(yàn)的開(kāi)發(fā)人員和工程師，為了完成實(shí)驗(yàn)練習(xí)需要必備Java知識(shí)。