大數(shù)據(jù)分析與可視化技術(shù)應(yīng)用實(shí)戰(zhàn)

大數(shù)據(jù)分析與可視化技術(shù)應(yīng)用實(shí)戰(zhàn)(多名講師)課程介紹：

一、培訓(xùn)收益
通過此次課程培訓(xùn)，可使學(xué)習(xí)者獲得如下收益：
1.理解數(shù)據(jù)分析及R語言；
2.理解并掌握數(shù)據(jù)結(jié)構(gòu)；
3.掌握數(shù)據(jù)導(dǎo)入導(dǎo)出的方法；
4.掌握基本數(shù)據(jù)管理方法；
5.理解并掌握數(shù)據(jù)探索；
6.掌握如何進(jìn)行描述性統(tǒng)計分析；
7.掌握R語言繪圖基礎(chǔ)；
8.掌握聚類分析；
9.掌握關(guān)聯(lián)規(guī)則；
10.掌握KNN近鄰分類；
11.通過案例掌握用戶行為挖掘算法；
12.掌握C5.0算法原理；
13.掌握CART算法原理；
14.理解并掌握Rattle工具使用及如何搭建數(shù)據(jù)分析平臺。

二、培訓(xùn)特色
1. 本課程盡量避開數(shù)學(xué)公式，按照“講清思想方法原理—結(jié)合具體案例—R語言實(shí)現(xiàn)細(xì)節(jié)”思路，讓即使是幾乎沒有什么基礎(chǔ)的學(xué)員，掌握數(shù)據(jù)挖掘和可視化的基本思路和模式，打下未來深入的良好基礎(chǔ)，能在工作和學(xué)習(xí)中結(jié)合具體問題立馬上手操作解決；
2. 課程注重學(xué)練結(jié)合的方法，會采取課中練習(xí)的方法，充分調(diào)動大家思考的積極性，在做中掌握相關(guān)知識和技能；
3. 課程緊緊抓住基于R語言的數(shù)據(jù)挖掘和可視化的重點(diǎn)和難點(diǎn)，詳細(xì)的分析和講解，在理解難、容易出錯的地方反復(fù)提醒，以便學(xué)員在課后容易的進(jìn)行自己復(fù)習(xí)和相關(guān)拓展。

三、日程安排

第一天 上午
 ■ 數(shù)據(jù)處理及復(fù)雜數(shù)據(jù)可視化（一）
R語言入門及數(shù)據(jù)挖掘基本概念
 ◇ R語言簡介
常量、向量、矩陣、數(shù)組、數(shù)據(jù)框、列表、數(shù)據(jù)處理、編寫程序、基本統(tǒng)計計算、R語言繪圖基礎(chǔ)、幫助及包的用法
 ◇ R語言數(shù)據(jù)處理秘笈
介紹填、剪、揉太極三式的數(shù)據(jù)處理原理、方法、案例、技巧，以及Dplyr包、Tidyr包、Data.Table包的具體用法和代碼講解
 ◇ 數(shù)據(jù)挖掘基礎(chǔ)
講解數(shù)據(jù)挖掘的基本概念、典型問題，通過場景舉例說明數(shù)據(jù)挖掘的用途；同時，結(jié)合數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程講解開展數(shù)據(jù)挖掘工作的各環(huán)節(jié)及主要技術(shù)。介紹數(shù)據(jù)挖掘常用算法及適合場景，比較不同數(shù)據(jù)挖掘工具的優(yōu)缺點(diǎn)。

第一天 下午
 ■ 數(shù)據(jù)處理及復(fù)雜數(shù)據(jù)可視化（二）
R語言數(shù)據(jù)挖掘與可視化分析
 ◇ 數(shù)據(jù)挖掘關(guān)鍵技術(shù)
詳細(xì)講解抽樣、分區(qū)、樣本平衡、特征選擇、訓(xùn)練模型、評估模型的技術(shù)，并結(jié)合R語言講解其代碼實(shí)現(xiàn)。
 ◇ Rattle數(shù)據(jù)挖掘工具
介紹Rattle在業(yè)界的使用情況，安裝及具體使用方法，包括數(shù)據(jù)源、數(shù)據(jù)探索、統(tǒng)計檢驗(yàn)、數(shù)據(jù)變換、聚類分析、關(guān)聯(lián)挖掘、建模、評估模型以及日志功能。通過實(shí)際的數(shù)據(jù)演示各環(huán)節(jié)的具體操作過程，分析挖掘結(jié)果。
 ◇ 可視化分析
介紹可視化基本概念，可視化設(shè)計流程以及R語言可視化的優(yōu)勢；其次，介紹24種常見圖表（拆線圖、柱狀圖、散點(diǎn)圖、雷達(dá)圖、詞云圖、玫瑰圖、�；鶊D、河流圖等等）的適用場景和使用方法；最后，重點(diǎn)對Lattice、Rcharts、Recharts、Ggplot2包進(jìn)行了詳細(xì)講解和案例演示。

第二天 上午
 ■ 數(shù)據(jù)挖掘模型實(shí)戰(zhàn)（一）
關(guān)聯(lián)規(guī)則算法原理與案例分析
 ◇ 算法講解
關(guān)聯(lián)規(guī)則概念、基本術(shù)語、Apriori算法實(shí)現(xiàn)原理、流程及手動演算案例；Arules包的介紹等等
 ◇ 案例：利用超市購物籃Groceries數(shù)據(jù)進(jìn)行關(guān)聯(lián)規(guī)則分析
介紹Groceries數(shù)據(jù)集、事務(wù)數(shù)據(jù)集以及常見操作；介紹數(shù)據(jù)轉(zhuǎn)換為事務(wù)數(shù)據(jù)集的方法以及使用Apriori算法建立關(guān)聯(lián)規(guī)則模型，同時，對分析關(guān)聯(lián)規(guī)則結(jié)果的常用技術(shù)進(jìn)行了講解和演示。
聚類算法原理與案例分析
 ◇ Kmeans算法講解
介紹Kmeans聚類基本思路及算法流程；Kmeans函數(shù)介紹；數(shù)據(jù)標(biāo)準(zhǔn)化技術(shù)介紹
 ◇ 案例：對Iris數(shù)據(jù)集進(jìn)行K均值聚類分析
介紹Iris數(shù)據(jù)集，并試圖通過使用基本數(shù)值指標(biāo)建立聚類分析模型，驗(yàn)證其與真實(shí)分類的區(qū)別
 ◇ 案例：對Mtcars數(shù)據(jù)集進(jìn)行K均值聚類分析
介紹Mtcars數(shù)據(jù)集，并使用Kmeans算法對其進(jìn)行聚類分析，以了解汽車的類別細(xì)分，同時給出合理解釋并提煉判斷規(guī)則
 ◇ 層次聚類算法講解
介紹樣本距離、類間距離的概念和計算方法，介紹層次聚類算法流程以及通過手動演算詳細(xì)講解層次聚類實(shí)現(xiàn)的過程；Hclust函數(shù)講解
 ◇ 案例：對洛杉機(jī)街區(qū)數(shù)據(jù)進(jìn)行層次聚類
介紹洛杉機(jī)數(shù)據(jù)，并使用層次聚類算法對其進(jìn)行細(xì)分；通過細(xì)分進(jìn)一步對數(shù)據(jù)進(jìn)行了詳細(xì)了解，并給出各類的詳細(xì)描述與說明
 ◇ 案例：對哺乳動物的睡眼數(shù)據(jù)進(jìn)行層次聚類
介紹哺乳動物的睡眠數(shù)據(jù)，使用層次聚類的方法對其進(jìn)行細(xì)分，并給出各類的特點(diǎn)，并給出詳細(xì)描述與說明

第二天 下午
 ■ 數(shù)據(jù)挖掘模型實(shí)戰(zhàn)（二）
KNN算法原理與案例分析
 ◇ 算法原理
介紹Knn基本概念、原理以及實(shí)現(xiàn)流程，同時給出Knn算法的優(yōu)缺點(diǎn)和適用場景；詳細(xì)介紹Kknn包
 ◇ 案例：對Iris數(shù)據(jù)集進(jìn)行Knn分類
介紹使用Knn算法對Iris數(shù)據(jù)進(jìn)行分類的方法、流程及代碼演示，并對分類的結(jié)果進(jìn)行分析
 ◇ 案例：對乳腺癌數(shù)據(jù)進(jìn)行Knn分類
介紹乳腺癌數(shù)據(jù)集，并使用Knn算法對乳腺癌數(shù)據(jù)進(jìn)行分類，同時給出實(shí)現(xiàn)的方法、流程及代碼，并對分類效果進(jìn)行分析
 ◇ 案例：對新聞文本數(shù)據(jù)進(jìn)行Knn分類
介紹新聞文本數(shù)據(jù)，并使用Knn分類算法對新聞文本數(shù)據(jù)進(jìn)行分類，同時給出實(shí)現(xiàn)的方法、流程及代碼，并對分類效果進(jìn)行分析
決策樹原理與案例分析
介紹決策樹基本概念、分類與回歸問題的區(qū)別與聯(lián)系、說明決策樹建模的通用過程。
 ◇ CART算法原理
介紹分類回歸樹的基本思路、算法實(shí)現(xiàn)流程，并通過案例說明其實(shí)現(xiàn)細(xì)節(jié)；介紹選擇分割點(diǎn)的方法，拆分規(guī)則，代價復(fù)雜度以及Rpart包和Prune函數(shù)的介紹
 ◇ 案例：對Iris數(shù)據(jù)集運(yùn)用CART算法進(jìn)行分類
介紹使用CART算法對Iris數(shù)據(jù)進(jìn)行分類的方法、原理和代碼實(shí)現(xiàn)流程，并對分類效果進(jìn)行比較分析
 ◇ 案例：對汽車數(shù)據(jù)運(yùn)用CART對汽車重量進(jìn)行預(yù)測
介紹使用CART算法對Mtcars數(shù)據(jù)中汽車的重量進(jìn)行預(yù)測的方法、原理和代碼實(shí)現(xiàn)流程，并對預(yù)測效果進(jìn)行分析
 ◇ C5.0算法原理
介紹ID3算法的算法實(shí)現(xiàn)原理和流程，同時講解信息熵、后驗(yàn)熵、信息增益等基本概念；通過案例講解ID3算法的具體過程以及ID3自身的問題；介紹C4.5算法的實(shí)現(xiàn)原理和流程，講解增益比例的來源和優(yōu)點(diǎn)，同時介紹C4.5對連續(xù)屬性及有缺失樣本的算法辦法，此外，還將會對剪枝、規(guī)則的產(chǎn)生、交叉驗(yàn)證等問題進(jìn)行講解；C50包的介紹
 ◇ 案例：對Iris數(shù)據(jù)集運(yùn)用C50算法分類
介紹使用C50算法對Iris數(shù)據(jù)集進(jìn)行分類的方法、原理和代碼實(shí)現(xiàn)流程，同時對分類效果進(jìn)行分析

第三天 上午
 ■ 行業(yè)應(yīng)用案例分享（一）
分析案例剖析
 ◇ 購物籃分析案例
Onlineretail數(shù)據(jù)集，包含用戶購買商品的交易信息，本案例旨在從中挖掘出用戶購買商品的關(guān)聯(lián)規(guī)則規(guī)律，并分析各模式對應(yīng)的含義及應(yīng)用可行性。
 ◇ 航空公司客戶價值分析案例
面對激烈的市場競爭，各航空公司都推出了更優(yōu)惠的營銷方式來吸引更多的客戶，國內(nèi)某航空公司面臨著旅客流失、競爭力下降和航空資源未充分利用等經(jīng)營危機(jī)。通過建立合理的客戶價值評估模型，對客戶進(jìn)行分群，分析比較不同客戶群的客戶價值，并制定相應(yīng)的營銷策略
 ◇ Lending Club信貸違約分析案例
Lending Club 信用貸款違約數(shù)據(jù)是美國網(wǎng)絡(luò)貸款平臺 Lendingclub 在2007-2015年間的信用貸款情況數(shù)據(jù)，主要包括貸款狀態(tài)和還款信息。本例基于該數(shù)據(jù)對多維度信息進(jìn)行詳細(xì)的數(shù)據(jù)分析，主要結(jié)合詞云、地圖等分析方法，另外，針對貸款違約建立了預(yù)測模型，本節(jié)會介紹詳細(xì)的建模過程及預(yù)測效果分析

第三天下午
 ■ 行業(yè)應(yīng)用案例分享（二）
用戶行為挖掘算法及案例
 ◇ 推薦系統(tǒng)
介紹推薦系統(tǒng)的基本概念、以及常見推薦算法（包括基于人口統(tǒng)計學(xué)的推薦、基于內(nèi)容的推薦、協(xié)同過濾推薦、基于關(guān)聯(lián)規(guī)則的推薦、基于效用的推薦、基于知識推薦、基于標(biāo)簽的推薦、基于圖的推薦等等），同時對不同的推薦算法進(jìn)行比較；另外，針對構(gòu)建推薦系統(tǒng)，給出了詳細(xì)的說明；介紹了推薦系統(tǒng)評測的關(guān)鍵指標(biāo)（包括用戶滿意度、準(zhǔn)確度、覆蓋率、多樣性、驚喜度等等）；接著，對R語言中的Recommenderlab包的用法進(jìn)行詳細(xì)介紹
 ◇ 案例：基于Onlineretail數(shù)據(jù)建立推薦系統(tǒng)
介紹Onlineretail數(shù)據(jù)集，以及開展推薦系統(tǒng)搭建過程的方法及具體實(shí)現(xiàn)，案例中使用了RANDOM、UBCF、IBCF三種方法建立了預(yù)測模型，并給出了比較分析
 ◇ 序列模式挖掘
介紹序列模式挖掘的基本概念、術(shù)語、實(shí)現(xiàn)的思路及具體過程。主要介紹SPADE算法的原理以及其實(shí)現(xiàn)過程。針對具體的實(shí)現(xiàn)，詳細(xì)介紹了R語言中的Arulessequences包
 ◇ 對Onlineretail數(shù)據(jù)集進(jìn)行序列模式挖掘
基于Onlineretail數(shù)據(jù)集，使用Spade算法建立序列模式挖掘算法進(jìn)行序列模式挖掘，并對挖掘出的結(jié)果進(jìn)行解釋分析

第四天 學(xué)習(xí)考核與業(yè)內(nèi)經(jīng)驗(yàn)交流

四、授課專家
游老師  計算機(jī)碩士，大數(shù)據(jù)分析、挖掘、可視化專家，高級培訓(xùn)講師，曾服務(wù)于華為技術(shù)有限公司等多家企業(yè)，專注于機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、大數(shù)據(jù)、知識圖譜等領(lǐng)域的研究、設(shè)計與實(shí)現(xiàn)，在互聯(lián)網(wǎng)、電信、電力、軍工等行業(yè)具有豐富的工程實(shí)踐經(jīng)驗(yàn)，對空間分析、欺詐檢測、廣告反作弊、推薦系統(tǒng)、客戶畫像、客戶營銷建模、知識抽取、智能問答、可視化分析、預(yù)測分析、系統(tǒng)架構(gòu)、大數(shù)據(jù)端到端解決方案等方面具有深刻理解，多次作為R語言會議重要嘉賓出席會議并發(fā)表主題演講，著有《R語言預(yù)測實(shí)戰(zhàn)》等多本書籍。

謝老師  某集團(tuán)上市公司數(shù)據(jù)分析部負(fù)責(zé)人，主要利用R語言進(jìn)行大數(shù)據(jù)的挖掘和可視化工作。從事數(shù)據(jù)挖掘建模工作已有10年，曾經(jīng)從事過咨詢、電商、金融、電購、電力、游戲等行業(yè)，了解不同領(lǐng)域的數(shù)據(jù)特點(diǎn)。有豐富的利用R語言進(jìn)行數(shù)據(jù)挖掘?qū)崙?zhàn)經(jīng)驗(yàn)，部分研究成果曾獲得國家專利。

更多大數(shù)據(jù)分析與可視化技術(shù)應(yīng)用實(shí)戰(zhàn)相關(guān)課程：