培訓(xùn)背景

課程通過完整的大數(shù)據(jù)開發(fā)項目及一組實際項目訓(xùn)練與實戰(zhàn)案例，完全覆蓋Hadoop與Spark生態(tài)系統(tǒng)平臺的應(yīng)用開發(fā)與運(yùn)維實踐。課堂實踐項目以項目小組的形式進(jìn)行沙盤實操練習(xí)，重點(diǎn)強(qiáng)化理解Hadoop與Spark大數(shù)據(jù)項目各個階段的工作重點(diǎn)，同時掌握作為大數(shù)據(jù)項目管理者的基本技術(shù)與業(yè)務(wù)素養(yǎng)。

培訓(xùn)收益

1.掌握業(yè)界最流行的MapReduce分布式計算框架關(guān)鍵技術(shù)、工作機(jī)制與編程模型，以及MapReduce最佳實踐開發(fā)技術(shù)，包括cominber、partition和shuffle優(yōu)化；

2.掌握基于內(nèi)存的大數(shù)據(jù)統(tǒng)一編程框Spark核心技術(shù)、RDD數(shù)據(jù)模型、DAG圖執(zhí)行模式、緩存機(jī)制、容錯機(jī)制、分布式系統(tǒng)架構(gòu)，以及基于Scala的編程開發(fā)模型、常用數(shù)據(jù)處理函數(shù)、性能優(yōu)化技術(shù)；

3.掌握大數(shù)據(jù)分布式文件系統(tǒng)HDFS關(guān)鍵機(jī)制、分布式系統(tǒng)架構(gòu)、高可用方案、擴(kuò)容方案、運(yùn)維參數(shù)與性能優(yōu)化；

4.掌握Hadoop分布式集群部署、參數(shù)設(shè)置與運(yùn)維關(guān)鍵技術(shù)；

5.掌握YARN框架工作機(jī)制、關(guān)鍵組件，以及資源調(diào)度器的工作原理、常用調(diào)度策略和優(yōu)化方向；

6.掌握NoSQL分布式數(shù)據(jù)庫HBase工作機(jī)制、分布式系統(tǒng)架構(gòu)、數(shù)據(jù)組織方式、讀寫機(jī)制，以及HBase表模式設(shè)計最佳實踐；

7.掌握基于MapReduce和Spark的大數(shù)據(jù)倉庫Hive與SparkSQL的工作原理，常見SQL操作，存儲格式優(yōu)化，分區(qū)/分桶技術(shù)；

8.掌握經(jīng)典數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法，掌握基于Spark的機(jī)器學(xué)習(xí)算法庫MLlib，及其數(shù)據(jù)模型和編程開發(fā)模型，掌握基于大數(shù)據(jù)的推薦技術(shù)與協(xié)同過濾算法；

9.掌握大數(shù)據(jù)分布式協(xié)同管理系統(tǒng)Zookeeper原理知識和應(yīng)用場景；

10.深入理解大數(shù)據(jù)平臺主流技術(shù)架構(gòu)和各關(guān)鍵組件適用場景；

11.嫻熟運(yùn)用Hadoop與Spark大數(shù)據(jù)技術(shù)體系規(guī)劃解決方案滿足實際項目需求；

12.通過實戰(zhàn)操作熟練地掌握基于Hadoop與Spark大數(shù)據(jù)平臺進(jìn)行應(yīng)用程序開發(fā)、集群運(yùn)維管理和性能調(diào)優(yōu)技巧。

培訓(xùn)特色

本課程的授課師資都是有著多年在一線從事Hadoop與Spark大數(shù)據(jù)項目的資深講師，采用原理技術(shù)剖析和實戰(zhàn)案例相結(jié)合的方式開展互動教學(xué)、強(qiáng)化以建立大數(shù)據(jù)項目解決方案為主體的應(yīng)用開發(fā)、技術(shù)討論與交流咨詢，在學(xué)習(xí)的同時促進(jìn)講師學(xué)員之間的交流，讓每個學(xué)員都能在課程培訓(xùn)過程中學(xué)到實實在在的大數(shù)據(jù)技術(shù)知識體系，以及大數(shù)據(jù)技術(shù)應(yīng)用實戰(zhàn)技能，具備實際大數(shù)據(jù)應(yīng)用項目的動手開發(fā)實踐與運(yùn)維管理部署能力。

課程大綱