教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

2021年P(guān)ython+大數(shù)據(jù)開發(fā)課程大綱

目前課程版本:1.6.1   咨詢?cè)斍?/a>



Python+大數(shù)據(jù)開發(fā)基礎(chǔ)班課程大綱

Python+大數(shù)據(jù)開發(fā)基礎(chǔ)班課程大綱

所處階段

主講內(nèi)容 技術(shù)要點(diǎn) 學(xué)習(xí)目標(biāo)
零基礎(chǔ)數(shù)據(jù)分析
體驗(yàn)課
Excel數(shù)據(jù)分析

         01_數(shù)據(jù)分析行業(yè)技能及課程介紹
         02_Excel簡(jiǎn)介和基本使用
         03_Excel數(shù)據(jù)處理和計(jì)算
         04_Excel圖表
         05_Excel透視表
         06_Excel分析項(xiàng)目

   1. 掌握傳統(tǒng)Excel數(shù)據(jù)分析技能
   2. 熟練使用BI工具
   3. 對(duì)數(shù)據(jù)分析有一定認(rèn)知,能夠從事基礎(chǔ)的數(shù)據(jù)分析工作
SQL

        01_數(shù)據(jù)庫概念和作用
        02_MySQL數(shù)據(jù)類型
        03_數(shù)據(jù)完整性和約束
        04_數(shù)據(jù)庫/表基本操作命令
        05_表數(shù)據(jù)操作命令
        06_Where子句
        07_分組聚合
        08_鏈接查詢
        09_外鍵的使用
        10_SQL數(shù)據(jù)分析實(shí)戰(zhàn)

BI工具

        01_數(shù)據(jù)圖表基礎(chǔ)
        02_故事和儀表板初探
        03_數(shù)據(jù)分析報(bào)告
        04_Tableau電商項(xiàng)目


Python+大數(shù)據(jù)開發(fā)就業(yè)班課程大綱

學(xué)習(xí)對(duì)象

本課程適合于:應(yīng)屆大學(xué)畢業(yè)生,工資待遇不理想,想要突破轉(zhuǎn)行,或?qū)?shù)據(jù)開發(fā)和數(shù)據(jù)分析感興趣的人員

注:獲取更多免費(fèi)學(xué)習(xí)視頻+資料+筆記,請(qǐng)加QQ:2632311208。

上課方式

全日制脫產(chǎn),每周5天上課, 上兩天課休息一天的上課方式(實(shí)際培訓(xùn)時(shí)間可能因法定節(jié)假日等因素發(fā)生變化)

培訓(xùn)時(shí)間

部分校區(qū)可能會(huì)根據(jù)實(shí)際情況有所調(diào)整,詳情可詢咨詢老師點(diǎn)擊咨詢

Python+大數(shù)據(jù)開發(fā)就業(yè)班課程大綱

所處階段

主講內(nèi)容 技術(shù)要點(diǎn) 學(xué)習(xí)目標(biāo)
數(shù)據(jù)分析
語言基礎(chǔ)
Python基礎(chǔ)語法

       01_變量
       02_標(biāo)識(shí)符和關(guān)鍵字
       03_輸入和輸出
       04_數(shù)據(jù)類型轉(zhuǎn)換
       05_PEP8編碼規(guī)范
       06_比較/關(guān)系運(yùn)算符
       07_if語句語法格式
       08_三目運(yùn)算符
       09_while語句語法格式
       10_while 循環(huán)嵌套
       11_break 和 continue
       12_while 循環(huán)案例
       13_for循環(huán)

1.掌握Python開發(fā)環(huán)境基本配置
2.掌握運(yùn)算符、表達(dá)式、流程控制語句、數(shù)組等的使用
3.掌握字符串的基本操作
4.初步建立面向?qū)ο蟮木幊趟季S
5.熟悉異常捕獲的基本流程及使用方式
6.掌握類和對(duì)象的基本使用方式
Python數(shù)據(jù)處理

       01_字符串定義語法格式
       02_字符串遍歷(while)
       03_下標(biāo)和切片
       04_字符串常見操作
       05_列表語法格式
       06_列表的遍歷(for)
       07_列表常見操作
       08_列表嵌套
       09_列表推導(dǎo)式
       10_元組語法格式
       11_單元素元組
       12_元組操作
       13_字典語法格式
       14_字典常見操作
       15_字典的遍歷

函數(shù)

       01_函數(shù)概念和作用、函數(shù)定義、調(diào)用
       02_不定長參數(shù)函數(shù)
       03_函數(shù)的返回值
       04_函數(shù)的說明文檔
       05_函數(shù)的嵌套調(diào)用
       06_可變和不可變類型
       07_局部變量
       08_全局變量
       09_組包和拆包、引用

文件讀寫

       01_文件的打開與關(guān)閉、文件的讀寫
       02_文件/目錄操作及案例
       03_os模塊文件與目錄相關(guān)操作

面向?qū)ο?/td>

       01_面向?qū)ο蠼榻B
       02_類的定義和對(duì)象的創(chuàng)建
       03_添加和獲取對(duì)象屬性
       04_self 參數(shù)
       05_init方法
       06_私有方法和私有屬性
       07_繼承
       08_子類方法重寫
       09_類屬性和實(shí)例屬性
       11_類方法、實(shí)例方法、靜態(tài)方法

異常處理

       01_異常概念
       02_異常捕獲
       03_異常的傳遞
       04_自定義異常

模塊和包

       01_模塊介紹
       02_模塊的導(dǎo)入
       03_包的概念
       04_包的導(dǎo)入
       05_模塊中的 __all__
       06_模塊中 __name__ 的作用

Python編程進(jìn)階 網(wǎng)絡(luò)編程

       01_IP地址的介紹
       02_端口和端口號(hào)的介紹
       03_TCP的介紹
       04_socket的介紹
       05_TCP網(wǎng)絡(luò)應(yīng)用的開發(fā)流程
       06_基于TCP通信程序開發(fā)

1.熟練使用Linux操作系統(tǒng)及相關(guān)命令
2.掌握網(wǎng)絡(luò)編程技術(shù),能夠?qū)崿F(xiàn)網(wǎng)絡(luò)通訊
3.掌握開發(fā)中的多任務(wù)編程實(shí)現(xiàn)方式
4.掌握數(shù)據(jù)存儲(chǔ)形式和存儲(chǔ)操作
5.了解后端業(yè)務(wù)開發(fā)
多任務(wù)編程

       01_多任務(wù)介紹
       02_進(jìn)程的使用
       03_線程的使用
       04_線程同步與互斥鎖、死鎖介紹

高級(jí)語法

       01_閉包
       02_裝飾器
       03_深淺拷貝
       04_正則

數(shù)據(jù)埋點(diǎn)

       1.miniweb

SQL進(jìn)階 窗口函數(shù)及項(xiàng)目實(shí)戰(zhàn)

       01_視圖的概念與使用
       02_Mysql窗口函數(shù)
       03_Mysql變量
       04_Mysql實(shí)戰(zhàn)項(xiàng)目

1.能夠掌握SQL窗口函數(shù)及其他進(jìn)階語法的使用
2.能夠完成SQL實(shí)戰(zhàn)項(xiàng)目
3.熟練運(yùn)用SQL完成企業(yè)常見數(shù)據(jù)報(bào)表分析

數(shù)據(jù)分析
項(xiàng)目實(shí)戰(zhàn)
數(shù)據(jù)清洗

       01_Pandas數(shù)據(jù)組合_concat連接
       02_Pandas數(shù)據(jù)組合_merge數(shù)據(jù)
       03_Pandas數(shù)據(jù)組合_join
       04_缺失值處理介紹
       05_缺失值處理_缺失值數(shù)量統(tǒng)計(jì)
       06_缺失值處理_缺失值可視化
       07_缺失值處理_刪除缺失值
       08_缺失值處理_填充缺失值
       09_melt整理數(shù)據(jù)
       10_stack整理數(shù)據(jù)
       11_wide_to_long整理數(shù)據(jù)
       12_unstack和小結(jié)
       13_Pandas數(shù)據(jù)類型簡(jiǎn)介
       14_數(shù)據(jù)類型轉(zhuǎn)換
       15_分類數(shù)據(jù)category
       16_Series和DataFrame的apply方法
       17_apply使用案例
       18_向量化函數(shù)和lambda表達(dá)式

1.熟練使用Pandas進(jìn)行數(shù)據(jù)處理
2.掌握Python進(jìn)行數(shù)據(jù)可視化的常用工具
3.熟練使用Pandas進(jìn)行描述性數(shù)據(jù)分析
數(shù)據(jù)整理

       01_單變量分組聚合
       02_通過調(diào)用agg進(jìn)行聚合
       03_分組后transform
       04_transform練習(xí)
       05_filter&DataFrameGroupBy對(duì)象
       06_透視表概述&會(huì)員存量增量分析
       07_會(huì)員增量等級(jí)分布
       08_增量等級(jí)占比分析&整體等級(jí)分布
       09_線上線下增量分析&地區(qū)店均會(huì)員數(shù)量
       10_會(huì)銷比計(jì)算
       11_連帶率計(jì)算
       12_復(fù)購率計(jì)算
       13_日期時(shí)間類型介紹
       14_提取日期分組案例
       15_股票數(shù)據(jù)處理
       16_datarange函數(shù)
       17_綜合案例

數(shù)據(jù)可視化

       01_Python數(shù)據(jù)可視化介紹
       02_matplotlib繪圖
       03_matplotlib繪制統(tǒng)計(jì)圖
       04_Pandas繪圖_柱狀圖
       05_Pandas繪圖_折線圖直方圖餅圖
       06_Pandas雙變量可視化
       07_Seaborn繪圖簡(jiǎn)介&單變量可視化
       08_Seaborn雙變量可視化
       09_Seaborn多變量可視化和樣式
       10_pyechars案例

pandas數(shù)據(jù)分析項(xiàng)目

       01_AppStore項(xiàng)目_數(shù)據(jù)處理
       02_AppStore項(xiàng)目_單變量分析
       03_AppStore項(xiàng)目_可視化和結(jié)論
       04_AppStore項(xiàng)目_可視化和結(jié)論代碼實(shí)現(xiàn)
       05_優(yōu)衣庫項(xiàng)目_案例介紹及簡(jiǎn)單數(shù)據(jù)探索
       06_優(yōu)衣庫項(xiàng)目_業(yè)務(wù)問題解讀
       07_優(yōu)衣庫案例_代碼實(shí)現(xiàn)
       08_RFM概念介紹
       09_RFM項(xiàng)目_數(shù)據(jù)加載和數(shù)據(jù)處理
       10_RFM項(xiàng)目_RFM計(jì)算
       11_RFM項(xiàng)目_RFM可視化
       12_RFM項(xiàng)目_業(yè)務(wù)解讀和小結(jié)

機(jī)器學(xué)習(xí)簡(jiǎn)介

       01_人工智能概述
       02_機(jī)器學(xué)習(xí)開發(fā)流程和用到的數(shù)據(jù)介紹
       03_特征工程介紹和小結(jié)
       04_機(jī)器學(xué)習(xí)算法分類
       05_機(jī)器學(xué)習(xí)模型評(píng)估
       06_數(shù)據(jù)分析與機(jī)器學(xué)習(xí)

1.掌握機(jī)器學(xué)習(xí)算法基本原理
2.掌握使用機(jī)器學(xué)習(xí)模型訓(xùn)練的基本流程
3.掌握Sklearn,Jieba,Gensim等常用機(jī)器學(xué)習(xí)相關(guān)開源庫的使用
4. 熟練使用機(jī)器學(xué)習(xí)相關(guān)算法進(jìn)行預(yù)測(cè)分析
K近鄰算法

       01_K近鄰算法基本原理
       02_K近鄰算法進(jìn)行分類預(yù)測(cè)
       03_sklearn實(shí)現(xiàn)knn
       04_訓(xùn)練集測(cè)試集劃分
       05_分類算法的評(píng)估
       06_歸一化和標(biāo)準(zhǔn)化
       07_超參數(shù)搜索
       08_預(yù)測(cè)facebook簽到位置案例
       09_K近鄰算法總結(jié)

線性回歸

       01_線性回歸簡(jiǎn)介
       02_線性回歸API使用初步
       03_導(dǎo)數(shù)回顧
       04_線性回歸的損失函數(shù)和優(yōu)化方法
       05_梯度下降推導(dǎo)
       06_波士頓房價(jià)預(yù)測(cè)案例
       07_欠擬合和過擬合
       08_模型的保存和加載
       09_線性回歸應(yīng)用-回歸分析

邏輯回歸

       01_邏輯回歸簡(jiǎn)介
       02_邏輯回歸API應(yīng)用案例
       03_分類算法評(píng)價(jià)方法
       04_邏輯回歸應(yīng)用_分類分析

聚類算法

       01_聚類算法的概念
       02_聚類算法API的使用
       03_聚類算法實(shí)現(xiàn)原理
       04_聚類算法的評(píng)估
       05_聚類算法案例

決策樹

       01_決策樹算法簡(jiǎn)介
       02_ 決策樹分類原理
       03_特征工程-特征提取
       04_ 決策樹算法api
       05_ 決策樹案例

集成學(xué)習(xí)

       01 集成學(xué)習(xí)算法簡(jiǎn)介
       02 Bagging和隨機(jī)森林
       03 隨機(jī)森林案例
       04 Boosting介紹
       05 GBDT介紹

零售項(xiàng)目集

       01_常用指標(biāo)計(jì)算
       02_數(shù)據(jù)推斷
       03_基于Kmeans的用戶分群
       04_LTV用戶生命周期
       05_購物籃分析
       06_用戶標(biāo)簽

1.掌握數(shù)據(jù)分析常用思維方法
2.掌握不同業(yè)務(wù)場(chǎng)景下的指標(biāo)體系搭建
3.熟練使用各種數(shù)據(jù)分析工具進(jìn)行數(shù)據(jù)提取與數(shù)據(jù)展示
4.熟練運(yùn)用常用數(shù)據(jù)分析模型解決業(yè)務(wù)問題
電商項(xiàng)目集

       01_用戶行為分析
       02_用戶價(jià)值分析
       03_用戶復(fù)購分析
       04_庫存分析
       05_銷售預(yù)測(cè)
       06_AB測(cè)試

跨境電商

       01_選品分析
       02_報(bào)表設(shè)計(jì)
       03_用戶評(píng)論文本挖掘
       04_競(jìng)品監(jiān)控
       05_廣告渠道效果分析

游戲分析

       01_游戲相關(guān)業(yè)務(wù)指標(biāo)介紹
       02_游戲用戶付費(fèi)分析
       03_道具使用分析

金融風(fēng)控項(xiàng)目業(yè)務(wù)背景介紹

       01_信貸和風(fēng)控介紹
       02_常見零售產(chǎn)品和風(fēng)險(xiǎn)介紹
       03_風(fēng)控相關(guān)業(yè)務(wù)術(shù)語介紹
       04_業(yè)務(wù)數(shù)據(jù)分析案例

1.掌握風(fēng)控業(yè)務(wù)場(chǎng)景的常用指標(biāo)
2.掌握評(píng)分卡的建模流程
3.掌握評(píng)分卡特征工程的常用套路
4.熟練運(yùn)用機(jī)器學(xué)習(xí)算法解決風(fēng)控業(yè)務(wù)場(chǎng)景下的問題
風(fēng)控建模介紹

       01_互聯(lián)網(wǎng)金融風(fēng)控體系介紹
       02_風(fēng)控建模流程概述
       03_風(fēng)控建模流程_項(xiàng)目準(zhǔn)備
       04_風(fēng)控建模流程_特征工程
       05_風(fēng)控建模流程_模型構(gòu)建
       06_風(fēng)控建模流程_上線運(yùn)營
       07_業(yè)務(wù)規(guī)則挖掘案例

金融風(fēng)控特征工程

       01_數(shù)據(jù)準(zhǔn)備
       02_靜態(tài)信息特征和時(shí)間截面特征處理
       03_特征衍生
       04_特征變換
       05_特征變換_卡方分箱代碼實(shí)現(xiàn)
       06_特征變換_WOE代碼實(shí)現(xiàn)
       07_特征變換_類別變量編碼方式總結(jié)
       08_常用缺失值處理方法
       09_時(shí)間序列未來信息
       10_用戶信息關(guān)聯(lián)&小結(jié)

機(jī)器學(xué)習(xí)評(píng)分卡

       01_建模流程_實(shí)驗(yàn)設(shè)計(jì)
       02_建模流程_樣本設(shè)計(jì)
       03_建模流程_模型訓(xùn)練與評(píng)估
       04_評(píng)分映射
       05_邏輯回歸評(píng)分卡
       06_lightGBM特征篩選
       07_輸出模型報(bào)告
       08_評(píng)分映射
       09_集成學(xué)習(xí)評(píng)分卡_xgboost
       10_集成學(xué)習(xí)評(píng)分卡_lightGBM
       11集成學(xué)習(xí)評(píng)分卡模型創(chuàng)建
       13_建模流程梳理

大數(shù)據(jù)Hadoop技術(shù)棧 shell指令

       01_Linux命令使用
       02_Linux命令選項(xiàng)的使用
       03_遠(yuǎn)程登錄和遠(yuǎn)程拷貝
       04_Linux權(quán)限管理
       05_vi編輯器使用

1.掌握J(rèn)ava程序基礎(chǔ)數(shù)據(jù)類型
2.掌握開發(fā)中集合、IO流、常用類等操作
3.掌握J(rèn)ava異常處理機(jī)制
4.掌握反射、網(wǎng)絡(luò)編程、多線程開發(fā)
5.掌握J(rèn)soup的網(wǎng)絡(luò)爬蟲開發(fā)
6.掌握J(rèn)DBC數(shù)據(jù)庫連接操作
7.掌握ETL數(shù)據(jù)處理和BI報(bào)表開發(fā)
8.具備JavaSE開發(fā)能力
shell編程

       01_變量
       02_表達(dá)式
       03_常見符號(hào)
       04_流程控制

編程基礎(chǔ)

       1.Java語言概述
       2.Java開發(fā)環(huán)境搭建
       3.IDEA的安裝和配置
       4.HelloWorld案例
       5.注釋,關(guān)鍵字,常量,變量,數(shù)據(jù)類型轉(zhuǎn)換.
       6.for循環(huán).while循環(huán),循環(huán)嵌套,控制跳轉(zhuǎn)語句,break和continue
       7.數(shù)組的概述和創(chuàng)建,數(shù)組的常見操作.
       8.方法的概述和定義,方法重載,方法形參類型,方法練習(xí)

面向?qū)ο?/td>

       1.面向?qū)ο蠼榻B
       2.類和對(duì)象講解
       3.對(duì)象的內(nèi)存圖
       4.成員變量和局部變量的區(qū)別
       5.private關(guān)鍵字,封裝,this關(guān)鍵字,構(gòu)造方法,繼承,super關(guān)鍵字
       6.方法重寫,多態(tài) ,final ,.static ,抽象類 ,接口 ,包(package)

常用類API

       1.API解釋
       2.Object類講解
       3.String類講,StringBuilder類講解,冒泡排序
       4.Arrays工具類包裝類
       5.自動(dòng)拆裝箱,Date類講解
       6.SimpleDateFormat類講解

集合操作/IO操作

       1.Lambda表達(dá)式
       2.集合類,Collection,ArrayList   
       3.列表迭代器,增強(qiáng)for,數(shù)據(jù)結(jié)構(gòu)
       4.Set集合之HashSet,Map集合之HashMap
       5.File類,字節(jié)流,序列化流,字符流

Java基礎(chǔ)增強(qiáng)

       1.Junit單元測(cè)試
       2.反射介紹 ,Class類相關(guān)方法介紹 ,反射案例:代理設(shè)計(jì)模式
       3.注解解釋.,常用注解介紹
       4.Maven基礎(chǔ), 依賴, Maven生命周期 ,Maven倉庫 ,Maven配置文件
       5.數(shù)據(jù)庫驅(qū)動(dòng),Connection接口,JDBC步驟

大數(shù)據(jù)基礎(chǔ)和硬件介紹

       1.大數(shù)據(jù)的特點(diǎn)
       2.分布式存儲(chǔ)概念
       3.分布式計(jì)算的概念
       4.服務(wù)器種類介紹、機(jī)架、交換機(jī)
       5.網(wǎng)絡(luò)拓?fù)?、Raid、IDC數(shù)據(jù)中心
       6.Linux shell編程、awk、sed、cut、ssh、scp、expect、yum、nestat、top 、iostat等高級(jí)命令使用

1.掌握Shell命令
2.掌握zookeeper原理并應(yīng)用
3.掌握HDFS的使用和MapReduce編程
4.理解MapReduce原理和調(diào)優(yōu)
5.掌握Yarn原理和調(diào)優(yōu)
Zookeeper

       1.Zookeeper的應(yīng)用場(chǎng)景
       2.架構(gòu)和原理
       3.存儲(chǔ)模型
       4.選舉機(jī)制
       5.客戶端操作

HDFS

       1.HDFS設(shè)計(jì)的特點(diǎn)
       2.Master-Slave架構(gòu)
       3.Block塊存儲(chǔ)、RF拷貝因子、機(jī)架感知
       4.Block拷貝策略、讀寫流程
       5.HDFS Federation、HDFS Snapshots、NameNode HA架構(gòu)和原理
       6.HDFS管理員常用操作、HDFS權(quán)限控制

MapReduce

       1.MapReduce架構(gòu)和原理
       2.Split機(jī)制
       3.MapReduce并行度
       4.Combiner機(jī)制
       5.Partition機(jī)制、自定義Partition
       6.MapReduce序列化、自定義排序、數(shù)據(jù)壓縮

YARN

       1.Yarn原理和架構(gòu)
       2.Yarn高可用
       3.Container資源的封裝(CPU、內(nèi)存和IO)
       4.資源調(diào)度策略(FIFO、Fair和Capacity)

Hive基礎(chǔ)

       1.HQL操作
       2.數(shù)據(jù)類型
       3.分區(qū)、分桶、臨時(shí)表
       4.explain執(zhí)行計(jì)劃詳解

1.掌握Hive的使用和調(diào)優(yōu)
2.具備Hadoop開發(fā)能力、離線數(shù)據(jù)倉庫開發(fā)能力
3.能夠完成基本構(gòu)建企業(yè)級(jí)數(shù)倉
Hive高階

       1.Hive原理和架構(gòu)
       2.Meta Store服務(wù)
       3.HiveServer內(nèi)置函數(shù)
       4.自定義UDF和UDAF
       5.數(shù)據(jù)壓縮、存儲(chǔ)格式、自動(dòng)化腳本、常見性能優(yōu)化

Hive出行大數(shù)據(jù)實(shí)戰(zhàn)或Hive亞馬遜電商大數(shù)據(jù)實(shí)戰(zhàn)(2選1)

       1.Hive滴滴出行案例實(shí)戰(zhàn)

       1.Hive亞馬遜電商案例實(shí)戰(zhàn)

教育項(xiàng)目或新零售項(xiàng)目二選一 解決方案

       1.大數(shù)據(jù)部署運(yùn)維:Cloudera Manager
       2.分析決策需求:數(shù)據(jù)倉庫
       3.數(shù)據(jù)采集:sqoop
       4.數(shù)據(jù)分析:hive
       5.歷史數(shù)據(jù)快照:拉鏈表
       6.數(shù)據(jù)更新后的統(tǒng)計(jì)分析:拉鏈表
       7.數(shù)據(jù)調(diào)度:oozie+shell
       8.OLAP系統(tǒng)存儲(chǔ):mysql
       9:數(shù)據(jù)展現(xiàn):帆軟BI

1.掌握離線數(shù)倉的分層與建模,從需求、設(shè)計(jì)、研發(fā)、測(cè)試到落地上線的完整項(xiàng)目流程
2.大量教育大數(shù)據(jù)的真實(shí)業(yè)務(wù)邏輯,共涉及20多個(gè)主題,100多個(gè)指標(biāo),提升學(xué)員在教育行業(yè)中的核心競(jìng)爭(zhēng)力
3.包括海量數(shù)據(jù)場(chǎng)景下如何優(yōu)化配置
4.拉鏈表的具體應(yīng)用
5.新增數(shù)據(jù)和更新數(shù)據(jù)的抽取和分析
6.hive函數(shù)的具體應(yīng)用
7.ClouderaManager可視化、自動(dòng)部署和配置、Git、CodeReview功能
技能點(diǎn)

       1.掌握離線數(shù)倉的分層與建模,從需求、設(shè)計(jì)、研發(fā)、測(cè)試到落地上線的完整項(xiàng)目流程
       2.大量教育大數(shù)據(jù)的真實(shí)業(yè)務(wù)邏輯,共涉及20多個(gè)主題,100多個(gè)指標(biāo),提升學(xué)員在教育行業(yè)中的核心競(jìng)爭(zhēng)力
       3.包括海量數(shù)據(jù)場(chǎng)景下如何優(yōu)化配置
       4.拉鏈表的具體應(yīng)用
       5.新增數(shù)據(jù)和更新數(shù)據(jù)的抽取和分析
       6.hive函數(shù)的具體應(yīng)用
       7.ClouderaManager可視化、自動(dòng)部署和配置、Git、CodeReview功能

大數(shù)據(jù)Spark技術(shù)棧 分布式緩存系統(tǒng)

       1.Redis原理及架構(gòu)
       2.Redis Cluster原理及架構(gòu)
       3.Redis常用操作

1.掌握Redis原理及架構(gòu)
2.掌握Redis命令操作、及數(shù)據(jù)結(jié)構(gòu)
3.掌握Hbase原理及架構(gòu)
4.掌握HBase命令操作、MapReduce編程
5.掌握Phoneix二級(jí)索引優(yōu)化查詢
6.掌握ELK開發(fā)掌握Kafka原理及架構(gòu)
萬億級(jí)NoSQL海量數(shù)據(jù)存儲(chǔ)

       1.HBase原理及架構(gòu)
       2.預(yù)分區(qū)、LSM結(jié)構(gòu)
       3.Bloom Filter,co-processor,結(jié)合Phoneix進(jìn)行優(yōu)化查詢

分布式流處理平臺(tái)

       1.Kafka原理及架構(gòu)分析
       2.分布式實(shí)時(shí)計(jì)算架構(gòu)和思想

NoSQL社交場(chǎng)景大數(shù)據(jù)分析實(shí)戰(zhàn)

       1.陌陌社交場(chǎng)景實(shí)戰(zhàn)
       2.社交大數(shù)據(jù)架構(gòu)剖析
       3.數(shù)據(jù)采集
       4.數(shù)據(jù)ETL
       5.數(shù)據(jù)分析

Scala

       1.Scala函數(shù)式編程基礎(chǔ)
       2.集合、Iterator、構(gòu)造器、伴生對(duì)象、Akka編程
       3.Scala語言重點(diǎn)API編程

  1.掌握Spark的RDD、DAG、CheckPoint等設(shè)計(jì)思想
  2.掌握SparkSQL結(jié)構(gòu)化數(shù)據(jù)處理,Spark On Hive
  3.掌握SparkStreaming整合Kafka完成實(shí)時(shí)數(shù)據(jù)處理
  4.掌握SparkStreaming偏移量管理及Checkpoint
  5.掌握Structured Streaming整合多數(shù)據(jù)源完成實(shí)時(shí)數(shù)據(jù)處理
  6.具備Spark全棧開發(fā)能力,滿足大數(shù)據(jù)行業(yè)多場(chǎng)景統(tǒng)一技術(shù)棧的數(shù)據(jù)開發(fā),提供就業(yè)核心競(jìng)爭(zhēng)力
Spark core

       1.Spark架構(gòu)和原理(運(yùn)行機(jī)制、Driver和Executor、spark任務(wù)提交流程)
       2.RDD開發(fā)和原理(Partition、Task、RDD的依賴關(guān)系、RDD的容錯(cuò)機(jī)制、RDD的存儲(chǔ)級(jí)別、RDD的緩存機(jī)制)廣播變量
       3.DAG原理(DAG思想、DAG的生成、DAG的處理過程)

Spark sql

       1.Spark SQL架構(gòu)和原理
       2.DataFrame、DataSet DSL和SQL開發(fā)
       3.Spark多數(shù)據(jù)源整合(txt、CSV、Json、parquet、JDBC、Hive)
       4.Spark SQL執(zhí)行計(jì)劃原理
       5.Spark SQL性能調(diào)優(yōu)

Structured Streaming

       1.Structured Streaming開發(fā)(input、output、window、watermark、過期數(shù)據(jù)操作、去重等)
       2.Structured Streaming多數(shù)據(jù)源整合(socket、Kafka)
       3.Flume+kafka+Structured Streaming案例實(shí)戰(zhàn)

Spark案例實(shí)戰(zhàn)

       1.教育大數(shù)據(jù)場(chǎng)景案例實(shí)戰(zhàn)

智能制造業(yè)或保險(xiǎn)項(xiàng)目二選一 主講解決方案

       1. 基于HDP快速搭建大數(shù)據(jù)平臺(tái)
       2. 基于Hive+Spark SQL搭建離線數(shù)據(jù)倉庫
       3. 基于Structured Streaming構(gòu)建高吞吐實(shí)時(shí)處理
       4. 基于ECharts實(shí)現(xiàn)可視化

  1.完成基于國內(nèi)大型的設(shè)備制造商大數(shù)據(jù)項(xiàng)目開發(fā);
  2.掌握基于spark分析原材料消耗、設(shè)備使用情況、多維度產(chǎn)品銷售分析,以大數(shù)據(jù)推動(dòng)工業(yè)4.0;
  4.具備基于HDP平臺(tái),連接工業(yè)設(shè)備,收集數(shù)據(jù)資源,實(shí)現(xiàn)產(chǎn)業(yè)監(jiān)測(cè)分析。
主講知識(shí)點(diǎn)

       1.使用主流的Hive+Spark構(gòu)建離線數(shù)倉
       2.使用Structure Streaming構(gòu)建實(shí)時(shí)異常告警系統(tǒng)
       3.基于完整的工業(yè)業(yè)務(wù)背景實(shí)現(xiàn)的離線和實(shí)時(shí)大數(shù)據(jù)業(yè)務(wù)豐富地地圖展示可視化開發(fā)
       4.學(xué)會(huì)使用Spark SQL處理復(fù)雜業(yè)務(wù)完整的離線采集 + 實(shí)時(shí)采集方案
       5.掌握如何使用調(diào)度平臺(tái)調(diào)度T+1批處理任務(wù)Spark離線任務(wù)和實(shí)時(shí)任務(wù)整合,統(tǒng)一由YARN做資源管理

就業(yè)加強(qiáng) SQL實(shí)戰(zhàn)

       1.面試題必備SQL實(shí)戰(zhàn)
       2.SQL優(yōu)化加強(qiáng)

  1.強(qiáng)化面試就業(yè)核心面試題
  2.梳理大數(shù)據(jù)架構(gòu)及解決方案
  3.剖析多行業(yè)大數(shù)據(jù)架構(gòu)
Hive數(shù)據(jù)分析與面試題加強(qiáng)

       1.Hive基礎(chǔ)
       2.Hive拉鏈表
       3.Hive數(shù)據(jù)倉庫構(gòu)建示例
       4.Hive面試題

Spark數(shù)據(jù)分析與面試題加強(qiáng)

       1.Spark基礎(chǔ)
       2.Spark拉鏈表
       3.Spark數(shù)據(jù)倉庫構(gòu)建示例
       4.Spark面試題

NoSQL數(shù)據(jù)分析與面試題加強(qiáng)

       1.Kafka基礎(chǔ)
       2.Hbase基礎(chǔ)
       3.Kafka&Hbase面試題

大數(shù)據(jù)多行業(yè)架構(gòu)剖析

       1.數(shù)據(jù)分析流程
       2.大數(shù)據(jù)架構(gòu)剖析
       3.多行業(yè)大數(shù)據(jù)架構(gòu)設(shè)計(jì)
       4.大數(shù)據(jù)存儲(chǔ),調(diào)度等解決方案

大數(shù)據(jù)Flink技術(shù)棧 Flink Core

       1.Flink基礎(chǔ)

  1.掌握基于Flink進(jìn)行實(shí)時(shí)和離線數(shù)據(jù)處理、分析
  2.掌握基于Flink的多流并行處理技術(shù)
  3.掌握千萬級(jí)高速實(shí)時(shí)采集技術(shù)
Flink DataStream

       1.Flink DataStream的使用、
       2.Kafka + Flink

Flink SQL

       1.Flink SQL開發(fā)
       2.Hive + Flink SQL

Flink Runtime

       1.Watermark
       2.Checkpoint
       3.任務(wù)調(diào)度與負(fù)載均衡
       4.狀態(tài)管理

Flink高級(jí)

       1.Flink性能監(jiān)控
       2.Flink調(diào)優(yōu)
       3.Flink SQL執(zhí)行計(jì)劃

Flink電商數(shù)據(jù)集實(shí)戰(zhàn)

       1.Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL實(shí)戰(zhàn)

車聯(lián)網(wǎng)項(xiàng)目或金融證券項(xiàng)目二選一 主要解決方案

       1.離線數(shù)據(jù)分析:flink batch、hive
       2.實(shí)時(shí)在線分析:flink、hbase
       3.消息隊(duì)列:kafka
       4.駕駛行程分析:flink、hbase
       5.實(shí)時(shí)在線故障分析:mongodb
       6.車型指標(biāo)分析:hive、shell
       7.實(shí)時(shí)指標(biāo)查詢:phoenix
       8.后臺(tái)數(shù)據(jù)服務(wù)接口:springboot、swagger-ui、echarts
       9.多數(shù)據(jù)源加載:flink jdbc
       10.車輛告警規(guī)則分析:flink、zeppelin
       11.離線任務(wù)調(diào)度:azkaban
       12.報(bào)表:superset
       13.頁面展示:echarts、javascript

  1.掌握基于Flink全棧進(jìn)行快速OLAP分析
  2.掌握基于Springboot+SwaggerUI快速構(gòu)建數(shù)據(jù)服務(wù)接口
  3.掌握實(shí)時(shí)高性能海量數(shù)據(jù)分析與存儲(chǔ)
  5.掌握針對(duì)Hbase調(diào)優(yōu)實(shí)現(xiàn)Hbase存儲(chǔ)調(diào)優(yōu)
  6.掌握數(shù)據(jù)報(bào)表分析
  7.掌握業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)大屏場(chǎng)景實(shí)現(xiàn)
主講知識(shí)點(diǎn)

       1.海量數(shù)據(jù)處理,系統(tǒng)15分鐘內(nèi)收集的新能源車輛的數(shù)據(jù)超過千萬條
       2.基于Hive、HBase、HDFS數(shù)據(jù)存儲(chǔ)
       3.基于Kafka數(shù)據(jù)傳輸
       4.基于Flink全棧數(shù)據(jù)處理
       5.基于Nginx做反向代理、LSV和Keepalived負(fù)載均衡和高可用




備注:該課程大綱僅供參考,實(shí)際課程內(nèi)容可能在授課過程中發(fā)生更新或變化,具體授課內(nèi)容最終以各班級(jí)課表為準(zhǔn)。


教學(xué)服務(wù)

  • 每日測(cè)評(píng)

    每晚對(duì)學(xué)員當(dāng)天知識(shí)的吸收程度、老師授課內(nèi)容難易程度進(jìn)行評(píng)分,老師會(huì)根據(jù)學(xué)員反饋進(jìn)行分析,對(duì)學(xué)員吸收情況調(diào)整授課內(nèi)容、課程節(jié)奏,最終讓每位學(xué)員都可以跟上班級(jí)學(xué)習(xí)的整體節(jié)奏。

  • 技術(shù)輔導(dǎo)

    為每個(gè)就業(yè)班都安排了一名優(yōu)秀的技術(shù)指導(dǎo)老師,不管是白天還是晚自習(xí)時(shí)間,隨時(shí)解答學(xué)員問題,進(jìn)一步鞏固和加強(qiáng)課上知識(shí)。

  • 學(xué)習(xí)系統(tǒng)

    為了能輔助學(xué)員掌握所學(xué)知識(shí),黑馬程序員自主研發(fā)了6大學(xué)習(xí)系統(tǒng),包括教學(xué)反饋系統(tǒng)、學(xué)習(xí)難易和吸收分析系統(tǒng)、學(xué)習(xí)測(cè)試系統(tǒng)、在線作業(yè)系統(tǒng)、學(xué)習(xí)任務(wù)手冊(cè)、學(xué)員綜合能力評(píng)定分析等。

  • 末位輔導(dǎo)

    末位輔導(dǎo)隊(duì)列的學(xué)員,將會(huì)得到重點(diǎn)關(guān)心。技術(shù)輔導(dǎo)老師會(huì)在學(xué)員休息時(shí)間,針對(duì)學(xué)員的疑惑進(jìn)行知識(shí)點(diǎn)梳理、答疑、輔導(dǎo)。以確保知識(shí)點(diǎn)掌握上沒有一個(gè)學(xué)員掉隊(duì),真正落實(shí)不拋棄,不放棄任何一個(gè)學(xué)員。

  • 生活關(guān)懷

    從學(xué)員學(xué)習(xí)中的心態(tài)調(diào)整,到生活中的困難協(xié)助,從課上班級(jí)氛圍塑造到課下多彩的班級(jí)活動(dòng),班主任360度暖心鼓勵(lì)相伴。

  • 就業(yè)輔導(dǎo)

    小到五險(xiǎn)一金的解釋、面試禮儀的培訓(xùn);大到500強(qiáng)企業(yè)面試實(shí)訓(xùn)及如何針對(duì)性地制定復(fù)習(xí)計(jì)劃,幫助學(xué)員拿到高薪Offer。

 
和我們?cè)诰€交談!