《"Hadoop大數(shù)據(jù)處理高級工程師”實戰(zhàn)培訓班》課程詳情
點擊下載課大綱及報名表 招生對象
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
各地政府云計算物聯(lián)網產業(yè)相關負責人，各企業(yè)CIO、信息中心負責人、技術總監(jiān)，云計算中心負責人，云計算產業(yè)投資團隊，云計算應用開發(fā)商，云計算硬件設備供應商，云服務提供商，高校、科研院所云計算項目負責人。各企業(yè)大數(shù)據(jù)架構師、技術總監(jiān)、數(shù)據(jù)挖掘負責人、數(shù)據(jù)挖掘開發(fā)工程師

課程內容
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
課程目標
1、了解Hadoop的歷史及目前發(fā)展的現(xiàn)狀、以及Hadoop的技術特點，從而把握分布式計算框架及未來發(fā)展方向，在大數(shù)據(jù)時代能為企業(yè)的技術選型及架構設計提供決策參考。
2、全面掌握Hadoop的架構原理和使用場景，并通過貫穿課程的項目進行實戰(zhàn)鍛煉，從而熟練使用Hadoop進行MapReduce程序開發(fā)。課程還涵蓋了分布式計算領域的常用算法介紹，幫助學員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價值。
3、深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識，可以獨立規(guī)劃及部署生產環(huán)境的Hadoop集群，掌握Hadoop基本運維思路和方法，對Hadoop集群進行管理和優(yōu)化。

　培訓特色
注重應用：分析國內實際情況，結合國際、國內成功經驗。Hadoop采用實戰(zhàn)的項目，讓學員在短時間內掌握Hadoop的搭建與配置。并進行高效的大數(shù)據(jù)清洗和分析。
　　形式靈活：互動課堂、免費技術沙龍、提供云計算項目建設咨詢、大數(shù)據(jù)Hadoop平臺的搭建。

頒發(fā)證書
參加相關培訓并通過考試的學員，可以獲得：
工業(yè)和信息化部人才交流中心頒發(fā)的《全國計算機專業(yè)級人才證書》-大數(shù)據(jù)處理高級工程師。該證書可作為專業(yè)技術人員職業(yè)能力考核的證明，以及專業(yè)技術人員崗位聘用、任職、定級和晉升職務的重要依據(jù)。
注：請學員帶一寸彩照2張（背面注明姓名）、身份證復印件一張。

培訓費用及須知
5000 元/人（含教材、培訓費、以及學習用具等費用）食宿統(tǒng)一安排，費用自理。

八、培訓內容（3天課程）
課程模塊課程主題主要內容案例和演示
傳統(tǒng)大規(guī)模系統(tǒng)存在的問題
u模塊一 Hadoop在云計算技術的作用和地位
Hadoop概述u
u Hadoop分布式文件系統(tǒng)
MapReduce工作原理 u
Hadoop集群剖析 u
u Hadoop生態(tài)系統(tǒng)對一種新的解決方案的需求
Hadoop的行業(yè)應用案例分析u
u Hadoop在云計算和大數(shù)據(jù)的位置和關系u數(shù)據(jù)開放,數(shù)據(jù)云服務平臺(DAAS)時代
Hadoop平臺在數(shù)據(jù)云平臺(DAAS)上的天然優(yōu)勢u
數(shù)據(jù)云平臺(DAASu平臺)組成部分
互聯(lián)網公共數(shù)據(jù)大云(DAAS)案例u
Hadoop構建構建游戲云(Web Game Daas)平臺u

模塊二 Hadoop HDFS 和 MapReduceuHadoop生態(tài)系統(tǒng)介紹和演示
Hadoop數(shù)據(jù)庫之HBaseu
u Hadoop數(shù)據(jù)倉庫之Hive
Hadoop數(shù)據(jù)處理腳本Pigu
Hadoop數(shù)據(jù)接口Sqoop和Flume，Scribe DataXu
運用Hadoop自下而上構建大規(guī)模企業(yè)數(shù)據(jù)倉庫u Hadoop工作流引擎 Oozie u
暴風影音數(shù)據(jù)倉庫實戰(zhàn)解析u

模塊三 Hadoop HDFS 基本結構uHadoop組件詳解
Hadoop HDFS 副本存放策略u
Hadoop NameNodeu詳解
HadoopSecondaryNameNode 詳解u
Hadoop DataNode 詳解u
Hadoopu JobTracker 詳解
Hadoop Mapper類核心代碼u Hadoop TaskTracker 詳解u
Hadoopu Reduce類核心代碼
Hadoop 核心代碼u
Hadoop系統(tǒng)模塊組件概述
 
u模塊四 Hadoop安裝和部署
u Hadoop試驗集群的部署結構
Hadoop 安裝依賴關系u
Hadoop 生產環(huán)境的部署結構u
Hadoop集群部署u
u Hadoop 高可用配置方法
Hadoop 集群簡單測試方法u
Hadoop安裝部署實驗u Hadoop 集群異常Debug方法u
u Red hat Linux基礎環(huán)境搭建
Hadoop 單機系統(tǒng)版本安裝配置u
Hadoop 集群系統(tǒng)版本安裝和啟動配置u
使用u Hadoop MapReduce Streaming 快速測試系統(tǒng)
Hadoopcore-site，hdfs-site，mapred-siteu配置詳解
Hadoop 集群內存要求
 
u模塊五 Hadoop集群規(guī)劃
Hadoop集群磁盤分區(qū)u
集群和網絡拓撲要求u
u 針對NameNode Jobtracker DataNode TaskTracker Hiveserveru集群軟件的端口配置 等不同組件需求推薦服務器配置
Hadoop MapReduce 算法的原理和優(yōu)化思想
 
u模塊六 MapReduce 算法原理
u 運用MapReduce 構建數(shù)據(jù)庫算法u靈活運用MapReduce 實現(xiàn)算法
Select Sort GrougBy Sum Countu
Join 新進流失算法u
使用 Y-Smart 快速轉換SQL 為MapReduce 代碼u

u模塊七編寫MapReduce高級程序 使用 Hadoop MapReduce Streaming 編程
MapReduce流程 u
剖析一個MapReduce程序u
基本MapReduceAPI概念 u
驅動代碼 Mapper、Reduceru
Hadoop流u
APIu使用Eclipse進行快速開發(fā)
新MapReduce APIu
MapReduce的優(yōu)化u
u MapReduce的任務調度
MapReduce編程實戰(zhàn)u
如何利用其他Hadoop相關技術，包括Apache Hive， Apacheu Pig，Sqoop和Oozie等
Hadoop Streaming 和 Javau滿足解決實際數(shù)據(jù)分析問題的高級Hadoop API u MapReduce Api 差異。
MapReduce 實現(xiàn)數(shù)據(jù)庫功能u
利用Combiners來減少中間數(shù)據(jù)u
u編寫Partitioner來優(yōu)化負載平衡
直接訪問Hadoop分布式文件系統(tǒng)（HDFS）u
Hadoop的join操作u
u輔助排序在Reducer方的合并
定制Writables和WritableComparablesu
u使用SequenceFiles和Avro文件保存二進制數(shù)據(jù)
創(chuàng)建InputFormats OutputFormatsu
u Hadoop的二次排序
Hadoop的海量日志分析u
在Map方的合并 u

模塊八集成Hadoop到現(xiàn)有工作流
存儲系統(tǒng)u及Hadoop API深入探討
利用Sqoop從關系型數(shù)據(jù)庫系統(tǒng)中導入數(shù)據(jù)到Hadoopu
u利用Flume導入實時數(shù)據(jù)到Hadoop
ToolRunner介紹、使用MRUnit進行測試u
u 使用FuseDFS和Hadoop訪問HDFSu使用Configure和Close方法來進行Map/Reduce設置和關閉
u使用分布式緩存（Distributed Cache）
直接訪問Hadoop分布式文件系統(tǒng)（HDFS）u
u利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負載平衡 u

u模塊九使用Hive和Pig開發(fā)及技巧 Hive和Pig基礎
Hive的作用和原理說明u
Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關系u
u Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
Hive 部署和安裝u
Hive Cli 的基本用法u
HQL基本語法u
運用Pigu 使用JDBC 連接Hive進行查詢和分析u過濾用戶數(shù)據(jù)
使用正則表達式加載數(shù)據(jù)u
HQL高級語法u
編寫UDF函數(shù)u
u編寫UDAF自定義函數(shù)
基于Hive腳本內嵌Streaming 編程
 
u模塊十 Hbase安裝和使用 安裝部署
Hbase原理和結構u
使用Hbase+Hive 提供 OLAPu Hbase 運維和管理u SQL查詢能力
使用Hbase+Phoenix提供 OLTP SQL能力u
基于Hbase 的時間序列數(shù)據(jù)庫 OpenTsDbu結構解析
Hadoop2.0 HDFS 原理
 
u模塊十一 Hadoop2.0 集群探索
Hadoop2.0 Yarn 原理u
u 基于Hadoop2.0 構建分布式系統(tǒng)uHadoop2.0 生態(tài)系統(tǒng)
Hadoopu
 
模塊十二 Hadoop企業(yè)級別案例解析 結構化數(shù)據(jù)案例
Hadoop 非結構化案例u
Hbase 數(shù)據(jù)庫案例u
u Hadoop 視頻分析案例u利用大數(shù)據(jù)分析改進交通管理
區(qū)域醫(yī)療大數(shù)據(jù)應用案例u
銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺u
廣東移動省公司請賬單系統(tǒng)u
u上海電信網絡優(yōu)化
某通信運營商全國用戶上網記錄u
浙江臺州市智能交通系統(tǒng)u
移動廣州詳單實時查詢系統(tǒng)u
u跨區(qū)域實時視頻監(jiān)控系統(tǒng)
運用RedHadoop快速構建服務集群
 
u模塊十三 RedHadoop 企業(yè)版本
運用RedHadoop DWu 基于RedHadoop Hive構建數(shù)據(jù)倉庫平臺u構建數(shù)據(jù)倉庫
靈活運用 Hive 加速游戲數(shù)據(jù)倉庫u
u基于Pig+OpenCV大規(guī)模圖像人臉識別
Spark原理；Spark的架構圖；Spark運行模式介紹
 
u模塊十四 Spark原理和入門
u —local；—standalone；—messos；—yarn；Spark的RDD
u什么是RDD；RDD的種類；—Tranformation；—Action
Spark的存儲級別；Cache介紹；Spark的容錯原理u
u Lineage容錯；Checkpoint容錯；RDD的創(chuàng)建
案例—統(tǒng)計單詞的個數(shù)u


《"Hadoop大數(shù)據(jù)處理高級工程師”實戰(zhàn)培訓班》課程目的
1、了解Hadoop的歷史及目前發(fā)展的現(xiàn)狀、以及Hadoop的技術特點，從而把握分布式計算框架及未來發(fā)展方向，在大數(shù)據(jù)時代能為企業(yè)的技術選型及架構設計提供決策參考。
2、全面掌握Hadoop的架構原理和使用場景，并通過貫穿課程的項目進行實戰(zhàn)鍛煉，從而熟練使用Hadoop進行MapReduce程序開發(fā)。課程還涵蓋了分布式計算領域的常用算法介紹，幫助學員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價值。
3、深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識，可以獨立規(guī)劃及部署生產環(huán)境的Hadoop集群，掌握Hadoop基本運維思路和方法，對Hadoop集群進行管理和優(yōu)化。


《"Hadoop大數(shù)據(jù)處理高級工程師”實戰(zhàn)培訓班》所屬分類
研發(fā)項目

《"Hadoop大數(shù)據(jù)處理高級工程師”實戰(zhàn)培訓班》所屬專題
excel培訓、營銷數(shù)據(jù)分析、新媒體營銷培訓、

《"Hadoop大數(shù)據(jù)處理高級工程師”實戰(zhàn)培訓班》授課培訓師簡介

《"Hadoop大數(shù)據(jù)處理高級工程師”實戰(zhàn)培訓班》報名服務流程

-----------------------------------------------------------------------------------