一、培訓簡述
通過此次課程培訓，可使學習者獲得如下收益：
1.深刻理解在“互聯網+”時代下大數據的產生背景、發展歷程和演化趨勢；
2.了解業界市場需求和國內外最新的大數據技術潮流，洞察大數據的潛在價值；
3.理解大數據項目解決方案及業界大數據應用案例，從而為企業在大數據項目中的技術選型及技術架構設計提供決策參考；
4.掌握業界最流行的Hadoop與Spark大數據技術體系；
5.掌握大數據采集技術；
6.掌握大數據分布式存儲技術；
7.掌握NoSQL與NewSQL分布式數據庫技術；
8.掌握大數據倉庫與統計機器學習技術；
9.掌握大數據分析挖掘與商業智能（BI）技術；
10.掌握大數據離線處理技術；
11.掌握Storm流式大數據處理技術；
12.掌握基于內存計算的大數據實時處理技術；
13.掌握大數據管理技術的原理知識和應用實戰；
14.深入理解大數據平臺技術架構和使用場景；
15.嫻熟運用Hadoop與Spark大數據技術體系規劃解決方案滿足實際項目需求；
16.熟練地掌握基于Hadoop與Spark大數據平臺進行應用程序開發、集群運維管理和性能調優技巧。

二、培訓特色
1.課程培訓業界最流行、應用最廣泛的Hadoop與Spark大數據技術體系。強化大數據平臺的分布式集群架構和核心關鍵技術實現、大數據應用項目開發和大數據集群運維實踐、以及Hadoop與Spark大數據項目應用開發與調優的全過程沙盤模擬實戰。
2.通過一個完整的大數據開發項目及一組實際項目訓練案例，完全覆蓋Hadoop與Spark生態系統平臺的應用開發與運維實踐。課堂實踐項目以項目小組的形式進行沙盤實操練習，重點強化理解Hadoop與Spark大數據項目各個階段的工作重點，同時掌握作為大數據項目管理者的基本技術與業務素養。
3.本課程的授課師資都是有著多年在一線從事Hadoop與Spark大數據項目的資深講師，采用原理技術剖析和實戰案例相結合的方式開展互動教學、強化以建立大數據項目解決方案為主體的應用開發、技術討論與交流咨詢，在學習的同時促進講師學員之間的交流，讓每個學員都能在課程培訓過程中學到實實在在的大數據技術知識體系，以及大數據技術應用實戰技能，具備實際大數據應用項目的動手開發實踐與運維管理部署能力。授課過程中，根據學員需求，增設交流環節，可將具體工作中遇到的實際問題展開討論，講師會根據學員的實際情況微調授課內容，由講師帶著全部學員積極討論，并給出一定的時間讓學員上臺發言，現場剖析問題的癥結，規劃出可行的解決方案。

三、培訓收益
掌握基于大數據的體系架構、管理、部署，以及相應組件的原理和應用場景。
讓學員具備部署基于企業大數據平臺環境的能力。
四、培訓時長
共計5天，每天6課時

五、培訓大綱

	培訓模塊	培訓內容
第一單元	大數據技術基礎	大數據的產生背景與發展歷程 大數據的4V特征，以及與云計算的關系 大數據應用需求以及潛在價值分析 業界最新的大數據技術發展態勢與應用趨勢 大數據思維的轉變 大數據項目的系統與技術選型，及落地實施的挑戰 “互聯網+”時代下的電子商務、制造業、交通行業、電信運營商、銀行金融業、電子政務、移動互聯網、教育信息化等行業應用實踐與應用案例介紹
	業界主流的大數據技術方案	大數據軟硬件系統全棧與關鍵技術介紹 大數據生態系統全景圖 主流的大數據解決方案介紹 Apache大數據平臺方案剖析 CDH大數據平臺方案剖析 HDP大數據平臺方案剖析 基于云的大數據平臺方案剖析 大數據解決方案與傳統數據庫方案比較 國內外大數據平臺方案與廠商對比
	大數據計算模型（一）——批處理MapReduce	MapReduce產生背景與適用場景 MapReduce計算模型的基本原理 MapReduce作業執行流程 MapReduce基本組件，JobTracker和TaskTracker MapReduce高級編程應用，Combiner和Partitioner MapReduce性能優化技巧 MapReduce案例分析與開發實踐操作
第二單元	大數據存儲系統與應用實踐	分布式文件系統HDFS產生背景與適用場景 HDFS master-slave系統架構與讀寫工作原理 HDFS核心組件技術講解，NameNode與fsimage、editslog，DataNode與數據塊 HDFS Federation機制，viewfs機制，使用場景講解 HDFS高可用保證機制，SecondaryNameNode，NFS冷備份，基于zookeeper的HA方案
	大數據實戰練習一	1. Hadoop平臺搭建、部署與應用實踐，包含HDFS分布式文件系統，YARN資源管理軟件，MapReduce計算框架軟件 2. HDFS shell命令操作 3. MapReduce程序在YARN上運行
第三單元	Hadoop框架與生態發展，以及應用實踐操作	Hadoop的發展歷程 Hadoop 1.0的核心組件JobTracker，TaskTracker，以及適用范圍 Hadoop 2.0的核心組件YARN工作原理，以及與Hadoop 1.0的聯系與區別 Hadoop YARN的資源管理與作業調度機制 Hadoop 常用性能優化技術
	大數據計算模型（二）——實時處理/內存計算 Spark	MapReduce計算模型的瓶頸 Spark產生動機、基本概念與適用場景 Spark編程模型與RDD彈性分布式數據集的工作原理與機制 Spark實時處理平臺運行架構與核心組件 Spark寬、窄依賴關系與DAG圖分析 Spark容錯機制 Spark作業調度機制 Spark standardalone，Spark on YARN運行模式 Scala開發介紹與Spark常用Transformation函數介紹
第四單元	大數據倉庫查詢技術Hive、SparkSQL、Impala，以及應用實踐	基于MapReduce的大型分布式數據倉庫Hive基礎知識與應用場景 Hive數據倉庫的平臺架構與核心技術剖析 Hive metastore的工作機制與應用 Hive 分區、分桶機制，Hive行、列存儲格式 基于Spark的大型分布式數據倉庫SparkSQL基礎知識與應用場景 Spark SQL實時數據倉庫的實現原理與工作機制 SparkSQL程序開發與DataFrame機制介紹 基于MPP的大型分布式數據倉庫Impala基礎知識與應用場景 Impala實時查詢系統平臺架構、關鍵技術介紹，以及與Hive，SparkSQL的對比
	Hadoop集群運維監控工具	1.Hadoop運維管理監控系統Ambari工具介紹 2.第三方運維系統與工具Ganglia, Nagios
	大數據實戰練習二	1.基于 Hadoop平臺搭建、部署與配置Spark集群，Spark shell環境實踐，Spark案例程序分析，Spark程序開發與運行 2. 基于MapReduce的Hive數據倉庫實踐，Hive集群安裝部署，基于文件的Hive數據倉庫表導入導出與分區操作，Hive SQL操作，Hive客戶端操作 3. 基于Hive的SparkSQL shell實踐操作
第五單元	大數據計算模型（三）——流處理Storm, SparkStreaming	流數據處理應用場景與流數據處理的特點 流數據處理工具Storm的平臺架構與集群工作原理 Storm關鍵技術與并發機制 Storm編程模型與基本開發模式 Storm數據流分組 Storm可靠性保證與Acker機制 Storm應用案例分析 流數據處理工具Spark Streaming基本概念與數據模型 SparkStreaming工作機制 SparkStreaming程序開發介紹 Storm與SparkStreaming的對比
第六單元	大數據ETL操作工具，與大數據分布式采集系統	Hadoop與DBMS之間數據交互工具的應用 Sqoop導入導出數據的工作原理 Flume-NG數據采集系統的數據流模型與系統架構 Kafka分布式消息訂閱系統的應用介紹與平臺架構，及其使用模式
	面向OLTP型應用的NoSQL數據庫及應用實踐	關系型數據庫瓶頸，以及NoSQL數據庫的發展，概念，分類，及其在半結構化和非結構化數據場景下的適用范圍 列存儲NoSQL數據庫HBase簡介與數據模型剖析 HBase分布式集群系統架構與讀寫機制，ZooKeeper分布式協調服務系統的工作原理與應用 HBase表設計模式與primary key設計規范 文檔NoSQL數據庫MongoDB簡介與數據模型剖析 MongoDB集群模式、讀寫機制與常用API操作 值型NoSQL數據庫Redis簡介與數據模型剖析 Redis多實例集群架構與關鍵技術 NewSQL數據庫技術簡介及其適用場景
	大數據實戰練習三	1.Sqoop安裝、部署與配置，基于Sqoop、MySQL與Hive操作MySQL數據庫與Hive數據倉庫數據導入導出 2.Kafka安裝、部署與配置，基于Kafka創建和消費topic實踐操作 3.Flume+HDFS+MapReduce/Spark大數據采集、存儲與分析實踐操作
	大數據項目選型、實施、優化等問題交流討論	大數據項目的需求分析、應用實施、系統優化，以及解決方案等咨詢與交流討論 大數據在銀行業方面的應用及展望。
學習考核與業內經驗交流

 
（注：大綱還可根據需求進行調整）
 
師資簡介
趙老師
清華大學計算機雙學士，大數據、數據庫、中間件技術和Java專家。15年IT行業從業經歷，10年培訓授課經驗。
 
工作經歷：
2007.05 ～現在 BEA系統(中國)有限公司、甲骨文(中國)軟件系統有限公司
擔任全球支持中心高級技術顧問
2005.11 ～ 2007.05    北電網絡(中國)有限公司【北京研發中心】 高級軟件架構師
2004.1 ～ 2005.10 Motorola(中國)有限公司【北京研發中心】高級軟件工程師
2003.1 ～ 2003.12 億陽增值業務通信股份有限公司，售前工程師、軟件工程師
2002.7 ～ 2002.10 IBM CRL （IBM中國研究中心）— 電子商務組 Intern 
 
培訓經歷：

• 深圳移動   Hadoop大數據管理培訓
• 湖北移動   Hadoop大數據（CCAH）管理培訓
• 成都運達科技股份有限公司  Oracle 11g數據庫性能優化
• 中石油  Oracle 11g高級管理與性能優化
• AutoDesk（上海）有限公司      NoSQL數據庫管理與開發
• 北京市公安局   Oracle 11g數據庫開發SQL與PLSQL
• 中國人壽保險（集團）公司  Oracle 11g數據庫開發與管理
• 中國電信   Hadoop原理與實踐
• 上海中遠國際貨運有限公司      Oracle 11g數據庫管理與優化
• 中國移動通信集團云南有限公司  Weblogic 11g系統管理
• 山東省教育網   J2EE應用開發技術框架與實踐
• 北京交通大學軟件學院   Hadoop原理與實踐
• 北京交通大學軟件學院   Oracle 11g數據庫開發與管理
• 中國鐵道科學研究院     Weblogic 11g系統管理