伊人99re_av日韩成人_91高潮精品免费porn_色狠狠色婷婷丁香五月_免费看的av_91亚色网站

中培偉業(yè)企業(yè)IT內(nèi)訓(xùn)課程
您現(xiàn)在的位置：首頁 > 企業(yè)內(nèi)訓(xùn) > 大數(shù)據(jù) > 大數(shù)據(jù)互聯(lián)網(wǎng)架構(gòu)實(shí)戰(zhàn)-Redis&Mycat

大數(shù)據(jù)互聯(lián)網(wǎng)架構(gòu)實(shí)戰(zhàn)-Redis&Mycat

2022-04-27 10:07:19　|　來源：中培企業(yè)IT培訓(xùn)網(wǎng)
一、培訓(xùn)簡述
通過本課程的學(xué)習(xí)，學(xué)員將獲得以下收益：
  • 掌握Redis安裝、配置和生產(chǎn)環(huán)境部署方案
  • 掌握Redis的數(shù)據(jù)類型的正確理解和使用
  • 理解Redis內(nèi)存管理原理
  • 掌握Redis安裝、配置和生產(chǎn)環(huán)境部署方案
  • 掌握構(gòu)建Redis的可擴(kuò)展集群及高可用
  • 掌握Redis安裝、配置和生產(chǎn)環(huán)境部署方案
  • 掌握Mycat數(shù)據(jù)庫分庫分表實(shí)戰(zhàn)
  • 掌握Mycat生產(chǎn)環(huán)境下性能調(diào)優(yōu)
  • 掌握Mycat生產(chǎn)環(huán)境下高可用方案。
二、培訓(xùn)特色
  • PPT+教材+參考資料，理論講解
  • 提供配套的實(shí)驗(yàn)環(huán)境
  • 場景+案例+模擬環(huán)境，動(dòng)手實(shí)踐
  • 手把手解決問題+解決問題經(jīng)驗(yàn)分享。
三、培訓(xùn)收益
  • 掌握基于大數(shù)據(jù)的體系架構(gòu)、管理、部署，以及相應(yīng)組件的原理和應(yīng)用場景。
  • 讓學(xué)員具備部署基于企業(yè)大數(shù)據(jù)平臺(tái)環(huán)境的能力。
四、培訓(xùn)時(shí)長
     共計(jì)4天，每天6課時(shí)

五、培訓(xùn)大綱
模塊一：大數(shù)據(jù)實(shí)時(shí)計(jì)算引擎Storm
章 節(jié) 練習(xí) 學(xué)習(xí)目標(biāo)與案例
Storm
  • 大數(shù)據(jù)實(shí)時(shí)計(jì)算框架簡介
  • Apache Storm體系結(jié)構(gòu)
  • Apache Storm的偽分布模式的搭建
  • Apache Storm的全分布模式和HA
  • Storm的Demo演示
  • Storm集群在ZooKeeper上保存的數(shù)據(jù)結(jié)構(gòu)
  • WordCount數(shù)據(jù)流動(dòng)的過程
  • 開發(fā)自己的Storm的WordCount程序
  • 部署和運(yùn)行Storm任務(wù)
  • Storm任務(wù)執(zhí)行的過程與通信機(jī)制
  • 流式計(jì)算系統(tǒng)的典型的架構(gòu)與集成Storm
    • 集成Redis
    • 集成HDFS
    • 集成HBase
 使用Storm進(jìn)行大數(shù)據(jù)的實(shí)時(shí)計(jì)算
  • 掌握Storm的體系架構(gòu)和功能。
  • 掌握大數(shù)據(jù)實(shí)時(shí)計(jì)算的典型架構(gòu)
  • 京東大數(shù)據(jù)平臺(tái)的架構(gòu)
 
 
模塊二：Spark基礎(chǔ)之Scala編程語言
章 節(jié) 練習(xí) 學(xué)習(xí)目標(biāo)與案例
Scala編程語言
  • Scala語言基礎(chǔ)
  • Scala語言的面向?qū)ο?/li>
  • Scala語言的函數(shù)式編程
  • Scala中的集合
  • Scala語言的高級特性
 編程Scala程序 掌握Scala編程語言
 
 
模塊三：大數(shù)據(jù)執(zhí)行引擎Spark Core
章 節(jié) 練習(xí) 學(xué)習(xí)目標(biāo)與案例
Spark Core
  • 什么是Spark？
  • Spark的體系結(jié)構(gòu)與安裝部署
    • Spark的主從架構(gòu)
    • 什么是ZooKeeper
    • Spark HA的實(shí)現(xiàn)
  • 執(zhí)行Spark Demo程序
  • Spark運(yùn)行機(jī)制及原理分析
  • Spark的算子
  • Spark RDD的高級算子
  • Spark基礎(chǔ)編程案例
  • Spark性能診斷和優(yōu)化案例
    • 系統(tǒng)死鎖的診斷和分析
    • 系統(tǒng)內(nèi)存溢出的診斷和分析
  • 案例分享
    • 基于Spark的大數(shù)據(jù)平臺(tái)架構(gòu)
 搭建Spark環(huán)境
使用Spark Core處理數(shù)據(jù)
  • 掌握Spark的體系架構(gòu)和功能
  • Spark與Hadoop的對比
 
 
 
模塊四：數(shù)據(jù)分析引擎Spark SQL
章 節(jié) 練習(xí) 學(xué)習(xí)目標(biāo)與案例
Spark SQL
  • Spark SQL基礎(chǔ)
    • Spark SQL簡介
    • 基本概念：Datasets和DataFrames
    • 測試數(shù)據(jù)
    • 創(chuàng)建DataFrames
    • DataFrame操作
    • Global Temporary View
    • 創(chuàng)建Datasets
    • Datasets的操作案例
  • 使用數(shù)據(jù)源
    • 通用的Load/Save函數(shù)
    • Parquet文件
    • JSON Datasets
    • 使用JDBC
    • 使用Hive Table
  • 性能優(yōu)化
  • 在IDEA中開發(fā)Spark SQL程序
 使用Spark SQL處理數(shù)據(jù)
  • 掌握Spark SQL的體系架構(gòu)和功能。
  • 典型的大數(shù)據(jù)分析引擎的對比
    • Hive
    • Spark SQL
    • Flink SQL
 
 
模塊五：流式計(jì)算引擎Spark Streaming
章 節(jié) 練習(xí) 學(xué)習(xí)目標(biāo)與案例
Spark Streaming
  • Spark Streaming基礎(chǔ)
    • Spark Streaming簡介
    • Spark Streaming的特點(diǎn)
    • Spark Streaming的內(nèi)部結(jié)構(gòu)
    • 第一個(gè)小案例：NetworkWordCount
    • 開發(fā)自己的NetworkWordCount
  • Spark Streaming進(jìn)階
    • StreamingContext對象詳解
    • 離散流（DStreams）：Discretized Streams
    • DStream中的轉(zhuǎn)換操作（transformation）
    • 窗口操作
    • 輸入DStreams和接收器
    • DStreams的輸出操作
    • DataFrame和SQL操作
    • 緩存/持久化
    • 檢查點(diǎn)支持
  • 高級數(shù)據(jù)源
    • Spark Streaming接收Flume數(shù)據(jù)
    • Spark Streaming接收Kafka數(shù)據(jù)
  • 性能優(yōu)化
    • 減少批數(shù)據(jù)的執(zhí)行時(shí)間
    • 設(shè)置正確的批容量
    • 內(nèi)存調(diào)優(yōu)
 使用Spark Streaming處理數(shù)據(jù)
  • 掌握Spark Streaming的體系架構(gòu)和功能
  • 典型的大數(shù)據(jù)實(shí)時(shí)引擎的對比
    • Storm
    • Spark Streaming
    • Flink DataStream
 
 
模塊六：機(jī)器學(xué)習(xí)MLLib
章 節(jié) 練習(xí) 學(xué)習(xí)目標(biāo)與案例
Spark  MLLib
  • 什么是MLLib？
  • MLLib中的常見算法
  • MLlib的應(yīng)用案例：推薦系統(tǒng)的實(shí)現(xiàn)
    • 基于用戶的協(xié)同過濾
    • 基于物品的協(xié)同過濾
    • 基于ALS的協(xié)同過濾
    • 邏輯回歸算法
   掌握電商環(huán)境中推薦系統(tǒng)的實(shí)現(xiàn)。
 
 
模塊七：新一代大數(shù)據(jù)處理引擎Flink
章 節(jié) 練習(xí) 學(xué)習(xí)目標(biāo)與案例
第3章：Flink的體系架構(gòu)與部署
  • Flink簡介
  • Flink的體系架構(gòu)
  • Flink的安裝與部署
  • Flink的分布式緩存
  • 對比：Flink、Storm和Spark Streaming
 安裝與部署Flink環(huán)境 掌握Flink的體系架構(gòu)與生態(tài)圈組件
第4章：Flink on Yarn的實(shí)現(xiàn)
  • 什么是Yarn？與Yarn的體系架構(gòu)
  • 部署Yarn
  • Flink on Yarn的兩種模式
    • 內(nèi)存集中管理模式
    • 內(nèi)存Job管理模式
  • Flink on Yarn兩種模式的區(qū)別
 部署Flink on Yarn 理解并掌握Flink on Yarn的兩種模式的特點(diǎn)
第5章：Flink HA的實(shí)現(xiàn)
  • 什么是HA？為什么需要HA？
  • 大數(shù)據(jù)分布式協(xié)調(diào)框架ZooKeeper
    • 什么是ZooKeeper
    • 搭建ZooKeeper環(huán)境
    • ZooKeeper的特性
    • 實(shí)現(xiàn)分布式鎖
  • 部署Flink HA高可用架構(gòu)環(huán)境
 部署Flink HA環(huán)境 什么是HA？Flink HA的架構(gòu)
第6章：Flink開發(fā)入門
  • Flink批處理開發(fā)
    • Java版本W(wǎng)ordCount
    • Scala版本W(wǎng)ordCount
  • Flink流處理開發(fā)
    • Java版本W(wǎng)ordCount
    • Scala版本W(wǎng)ordCount
  • 使用Flink Scala Shell
  • Flink的并行度分析
 搭建Flink開發(fā)環(huán)境并開發(fā)應(yīng)用程序 掌握基本的Flink API編程
第7章：Flink DataSet API開發(fā)
  • Map、FlatMap與MapPartition
  • Filter與Distinct
  • Join操作
  • 笛卡爾積
  • First-N
  • 外鏈接操作
 基于DataSet API開發(fā)Flink離線計(jì)算應(yīng)用 掌握常用的Flink DataSet API算子的作用
第8章：Flink DataStreaming API開發(fā)
  • DataSources
    • 基本的數(shù)據(jù)源示例
    • 自定義數(shù)據(jù)源
    • 內(nèi)置的Connector
  • DataStream Transformation 轉(zhuǎn)換操作
  • Data Sinks
  • 集成Flink與Kafka
 基于DataSet Stream開發(fā)Flink離線計(jì)算應(yīng)用 掌握常用的Flink DataStream API算子的作用
第9章：狀態(tài)管理和恢復(fù)
  • 狀態(tài)：State
    • Keyed State
    • Operator State
  • 檢查點(diǎn)：Checkpoint
    • 檢查點(diǎn)的配置：
    • state backend存儲(chǔ)模式
    • 修改State Backend的兩種方式
    • 示例
  • Restart Strategies（重啟策略）
 開發(fā)應(yīng)用進(jìn)行Flink的有狀態(tài)計(jì)算 理解并掌握Flink的狀態(tài)管理機(jī)制
第10章：Window和Time
  • 窗口：Window
    • Time Window示例
    • Count Window示例
  • Time：時(shí)間
  • WaterMark：水位線
    • Watermark的原理
    • Watermark的三種使用情況
    • 設(shè)置Watermark的核心代碼
    • 窗口的allowedLateness
   什么是Flink的窗口操作
第11章：Flink Table & SQL
  • Flink Table & SQL簡介
  • 開發(fā)Flink Table & SQL程序
  • 使用Flink SQL Client
 使用Flink SQL分析處理數(shù)據(jù) 掌握Flink的數(shù)據(jù)分析模塊
         
 
 
模塊八：大數(shù)據(jù)安全認(rèn)證框架
章 節(jié) 練習(xí) 學(xué)習(xí)目標(biāo)與案例
第1章：大數(shù)據(jù)安全框架
  • 大數(shù)據(jù)安全問題
  • 大數(shù)據(jù)安全管控措施
  • Kerberos安全認(rèn)證機(jī)制
  • Sentry安全授權(quán)組件
    
 
（注：大綱還可根據(jù)需求進(jìn)行調(diào)整）

主站蜘蛛池模板： 全部免费的毛片在线看 | jmcomic2最新安装包 | 久久精品一区二区三 | 婷婷丁香六月激情综合在线人 | 无码AV中文字幕久久专区 | a在线观看 | 日韩精品一区二区三区乱码 | 在线看片免费不卡人成视频 | 无码免费人妻A片AAA毛片西瓜 | 欧美精品狠狠色丁香婷婷 | 夫妻性生活视频免费看 | 国产一伦一伦一伦 | 国产免费www | 国产精品无打码在线播放 | 精品免费久久久久 | 日韩A片中文字幕视频免费 乱肉妇精品av | 国产视频一区二区在线观看 | 日韩97| 在线sss免费观看 | 老司机午夜网站 | 国产高清无码视频在线观看 | 中文字幕精品亚洲字幕资源网 | 黑人上司好猛我好爽中文字幕 | 国产超碰人人做人人爽Av | 香蕉久久夜色精品升级完成 | 日本xxxxwwwwww| 日本成a人片在线播放 | 国产在线激情 | 一级黄色免费观看视频 | 爱av免费| 久久久亚洲欧洲日产国码aⅴ | 99国产热| 夜夜夜夜夜夜爽噜噜噜噜噜噜 | 国偷自产一区二区视频 | 无码中文字幕乱在线观看 | 国产高清精品亚洲一区二区三区 | 蜜桃视频网站免费 | 日本精品少妇一区二区三区 | 在线观看超碰 | 高清性做爰大片免费视频 | 久久精品国产精品蜜桃 |