大數(shù)據(jù)建模與分析挖掘應(yīng)用

時(shí)間

內(nèi)容提要

授課詳細(xì)內(nèi)容

實(shí)踐訓(xùn)練

第一天

業(yè)界主流的數(shù)據(jù)倉庫工具和大數(shù)據(jù)分析挖掘工具

1. 業(yè)界主流的基于Hadoop和Spark的大數(shù)據(jù)分析挖掘項(xiàng)目解決方案
2. 業(yè)界數(shù)據(jù)倉庫與數(shù)據(jù)分析挖掘平臺(tái)軟件工具
3. Hadoop數(shù)據(jù)倉庫工具Hive
4. Spark實(shí)時(shí)數(shù)據(jù)倉庫工具SparkSQL
5. Hadoop數(shù)據(jù)分析挖掘工具M(jìn)ahout
6. Spark機(jī)器學(xué)習(xí)與數(shù)據(jù)分析挖掘工具M(jìn)Llib
7. 大數(shù)據(jù)分析挖掘項(xiàng)目的實(shí)施步驟

配置數(shù)據(jù)倉庫工具Hadoop Hive和SparkSQL

部署數(shù)據(jù)分析挖掘工具Hadoop Mahout和Spark MLlib

大數(shù)據(jù)分析挖掘項(xiàng)目的數(shù)據(jù)集成操作訓(xùn)練

1. 日志數(shù)據(jù)解析和導(dǎo)入導(dǎo)出到數(shù)據(jù)倉庫的操作訓(xùn)練
2. 從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù)，整理后形成規(guī)范的數(shù)據(jù)倉庫
3. 數(shù)據(jù)分析挖掘模塊從大型的集中式數(shù)據(jù)倉庫中訪問數(shù)據(jù)，一個(gè)數(shù)據(jù)倉庫面向一個(gè)主題，構(gòu)建兩個(gè)數(shù)據(jù)倉庫
4. 同一個(gè)數(shù)據(jù)倉庫中的事實(shí)表數(shù)據(jù)，可以給多個(gè)不同類型的分析挖掘任務(wù)調(diào)用
5. 去除噪聲

項(xiàng)目數(shù)據(jù)集加載ETL到Hadoop Hive數(shù)據(jù)倉庫并建立多維模型

基于Hadoop的大型數(shù)據(jù)倉庫管理平臺(tái)—HIVE數(shù)據(jù)倉庫集群的多維分析建模應(yīng)用實(shí)踐

1. 基于Hadoop的大型分布式數(shù)據(jù)倉庫在行業(yè)中的數(shù)據(jù)倉庫應(yīng)用案例
2. Hive數(shù)據(jù)倉庫集群的平臺(tái)體系結(jié)構(gòu)、核心技術(shù)剖析
3. Hive Server的工作原理、機(jī)制與應(yīng)用
4. Hive數(shù)據(jù)倉庫集群的安裝部署與配置優(yōu)化
5. Hive應(yīng)用開發(fā)技巧
6. Hive SQL剖析與應(yīng)用實(shí)踐
7. Hive數(shù)據(jù)倉庫表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧
8. Hive數(shù)據(jù)倉庫報(bào)表設(shè)計(jì)
9. 將原始的日志數(shù)據(jù)集，經(jīng)過整理后，加載至Hadoop + Hive數(shù)據(jù)倉庫集群中，用于共享訪問

利用HIVE構(gòu)建大型數(shù)據(jù)倉庫項(xiàng)目的操作訓(xùn)練實(shí)踐

Spark大數(shù)據(jù)分析挖掘平臺(tái)實(shí)踐操作訓(xùn)練

1. Spark大數(shù)據(jù)分析挖掘平臺(tái)的部署配置
2. Spark數(shù)據(jù)分析庫MLlib的開發(fā)部署
3. Spark數(shù)據(jù)分析挖掘示例操作，從Hive表中讀取數(shù)據(jù)并在分布式內(nèi)存中運(yùn)行

第二天

聚類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用

1. 聚類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：
   1. Canopy聚類（canopy clustering）
   2. K均值算法（K-means clustering）
   3. 模糊K均值（Fuzzy K-means clustering）
   4. EM聚類，即期望最大化聚類（Expectation Maximization）
   5. 以上算法在Spark MLib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。
2. Spark聚類分析算法程序示例

基于Spark MLlib的聚類分析算法，實(shí)現(xiàn)日志數(shù)據(jù)集中的用戶聚類

分類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用

1. 分類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用， 包括：
   1. Spark決策樹算法實(shí)現(xiàn)
   2. 邏輯回歸算法（logistics regression）
   3. 貝葉斯算法（Bayesian與Cbeyes）
   4. 支持向量機(jī)（Support vector machine）
   5. 以上算法在Spark MLlib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。
2. Spark客戶資料分析與給用戶貼標(biāo)簽的程序示例
3. Spark實(shí)現(xiàn)給商品貼標(biāo)簽的程序示例
4. Spark實(shí)現(xiàn)用戶行為的自動(dòng)標(biāo)簽和深度技術(shù)

基于Spark MLlib的分類分析算法模型與應(yīng)用操作

關(guān)聯(lián)分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用

1. 預(yù)測(cè)、推薦分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：
   1. Spark頻繁模式挖掘算法（parallel FP Growth Algorithm）應(yīng)用
   2. Spark關(guān)聯(lián)規(guī)則挖掘（Apriori）算法及其應(yīng)用
   3. 以上算法在Spark MLib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。
2. Spark關(guān)聯(lián)分析程序示例

基于Spark MLlib的關(guān)聯(lián)分析操作

第三天

推薦分析挖掘模型與算法技術(shù)應(yīng)用

1. 推薦算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：
   1. Spark協(xié)同過濾算法程序示例
   2. Item-based協(xié)同過濾與推薦
   3. User-based協(xié)同過濾與推薦
   4. 交叉銷售推薦模型及其實(shí)現(xiàn)

推薦分析實(shí)現(xiàn)步驟與操作（重點(diǎn)）

回歸分析模型與預(yù)測(cè)算法

1. 利用線性回歸（多元回歸）實(shí)現(xiàn)訪問量預(yù)測(cè)
2. 利用非線性回歸預(yù)測(cè)成交量和訪問量的關(guān)系
3. 基于R+Spark實(shí)現(xiàn)回歸分析模型及其應(yīng)用操作
4. Spark回歸程序?qū)崿F(xiàn)異常點(diǎn)檢測(cè)的程序示例

回歸分析預(yù)測(cè)操作例子

圖關(guān)系建模與分析挖掘及其鏈接分析和社交分析操作

1. 利用Spark GraphX實(shí)現(xiàn)網(wǎng)頁鏈接分析，計(jì)算網(wǎng)頁重要性排名
2. 實(shí)現(xiàn)信息傳播的社交關(guān)系傳遞分析，互聯(lián)網(wǎng)用戶的行為關(guān)系分析任務(wù)的操作訓(xùn)練

圖數(shù)據(jù)的分析挖掘操作，實(shí)現(xiàn)微博數(shù)據(jù)集的社交網(wǎng)絡(luò)建模與關(guān)系分析

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)算法模型及其應(yīng)用實(shí)踐

1. 神經(jīng)網(wǎng)絡(luò)算法Neural Network的實(shí)現(xiàn)方法和挖掘模型應(yīng)用
2. 基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)的訓(xùn)練過程
   1. 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法
   2. Deep Learning的訓(xùn)練方法
3. 深度學(xué)習(xí)的常用模型和方法
   1. CNN（Convolutional Neural Network）卷積神經(jīng)網(wǎng)絡(luò)
   2. RNN（Recurrent Neural Network）循環(huán)神經(jīng)網(wǎng)絡(luò)模型
   3. Restricted Boltzmann Machine(RBM)限制波爾茲曼機(jī)
4. 基于Spark的深度學(xué)習(xí)算法模型庫的應(yīng)用程序示例

基于Spark或TensorFlow神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)庫實(shí)現(xiàn)文本與圖片數(shù)據(jù)挖掘

項(xiàng)目實(shí)踐

1. 日志分析系統(tǒng)與日志挖掘項(xiàng)目實(shí)踐
   1. Hadoop，Spark，ELK技術(shù)構(gòu)建日志數(shù)據(jù)倉庫
   2. 互聯(lián)網(wǎng)微博日志分析系統(tǒng)項(xiàng)目
2. 推薦系統(tǒng)項(xiàng)目實(shí)踐
   1. 電影數(shù)據(jù)分析與個(gè)性化推薦關(guān)聯(lián)分析項(xiàng)目

項(xiàng)目數(shù)據(jù)集和詳細(xì)的實(shí)驗(yàn)指導(dǎo)手冊(cè)由講師提供

培訓(xùn)總結(jié)

1. 項(xiàng)目方案的課堂討論，討論實(shí)際業(yè)務(wù)中的分析需求，剖析各個(gè)環(huán)節(jié)的難點(diǎn)、痛點(diǎn)、瓶頸，啟發(fā)出解決之道；完成講師布置的項(xiàng)目案例，鞏固學(xué)過的大數(shù)據(jù)分析挖掘處理平臺(tái)技術(shù)知識(shí)以及應(yīng)用技能

討論交流

第四天

學(xué)員考試與業(yè)界交流