第1章 大數(shù)據(jù)分析概論 1
課前自學(xué) 2
一、數(shù)據(jù)及其分類 2
二、大數(shù)據(jù)的概念 3
三、大數(shù)據(jù)產(chǎn)生的原因 4
四、大數(shù)據(jù)的作用 5
五、大數(shù)據(jù)對(duì)科學(xué)研究的影響 6
課中實(shí)訓(xùn)：崗位數(shù)據(jù)采集與分析 7
任務(wù)1：人才供需現(xiàn)狀分析 8
任務(wù)2：數(shù)據(jù)采集與處理 9
任務(wù)3：詞頻統(tǒng)計(jì)與分析 11
課后拓展 13
本章小結(jié) 16
第2章 需求分析與指標(biāo)體系構(gòu)建 17
課前自學(xué) 18
一、數(shù)據(jù)分析的基本流程 18
二、數(shù)據(jù)分析指標(biāo)體系 19
三、基礎(chǔ)數(shù)據(jù)分析方法 22
四、描述統(tǒng)計(jì) 25
課中實(shí)訓(xùn) 26
任務(wù)1：城市跨境電商指標(biāo)體系設(shè)計(jì)
(以W市為例) 26
任務(wù)2：設(shè)置數(shù)據(jù)分析工具庫(kù) 28
任務(wù)3：跨境電商數(shù)據(jù)描述統(tǒng)計(jì) 30
課后拓展 32
一、常見(jiàn)的數(shù)據(jù)分析方法論模型 32
二、數(shù)據(jù)分析指數(shù) 35
本章小結(jié) 37
第3章 大數(shù)據(jù)存儲(chǔ)與管理 38
課前自學(xué) 39
一、數(shù)據(jù)庫(kù)基礎(chǔ)知識(shí) 39
二、SQL查詢基礎(chǔ)知識(shí) 40
課中實(shí)訓(xùn) 41
任務(wù)1：MySQL數(shù)據(jù)庫(kù)安裝與
配置 41
任務(wù)2：使用Navicat Premium
管理MySQL數(shù)據(jù)庫(kù) 45
任務(wù)3：數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì) 45
任務(wù)4：數(shù)據(jù)庫(kù)查詢操作 49
課后拓展 51
一、MongoDB的安裝與數(shù)據(jù)模型
介紹 51
二、HBase數(shù)據(jù)庫(kù)簡(jiǎn)介 52
本章小結(jié) 52
第4章 云計(jì)算與大數(shù)據(jù)的集成應(yīng)用 53
課前自學(xué) 54
一、云計(jì)算的概念 54
二、云計(jì)算概念模型的特點(diǎn) 55
三、云計(jì)算的部署模式 56
四、云計(jì)算的服務(wù)模式(IaaS、PaaS
和SaaS) 59
五、云計(jì)算與大數(shù)據(jù)架構(gòu)：
以Google為例 60
課中實(shí)訓(xùn) 62
任務(wù)1：配置單臺(tái)虛擬機(jī)環(huán)境 63
任務(wù)2：安裝CentOS 7操作系統(tǒng)
并配置網(wǎng)絡(luò) 66
任務(wù)3：克隆并配置多臺(tái)虛擬機(jī) 69
任務(wù)4：Linux的常見(jiàn)操作 72
任務(wù)5：設(shè)置主機(jī)之間的免密登錄 74
任務(wù)6：在Liunx平臺(tái)下安裝JAVA
運(yùn)行環(huán)境 75
任務(wù)7：配置hadoop環(huán)境 77
任務(wù)8：基于HDFS的MapReduce
詞頻數(shù)據(jù)分析 83
課后拓展 86
本章小結(jié) 91
第5章 網(wǎng)頁(yè)結(jié)構(gòu)分析與Python編程
基礎(chǔ) 92
課前自學(xué) 93
一、網(wǎng)頁(yè)的基本結(jié)構(gòu) 93
二、Python簡(jiǎn)介與特點(diǎn) 95
三、Python基礎(chǔ)語(yǔ)法 96
課中實(shí)訓(xùn) 97
任務(wù)1：Python開(kāi)發(fā)環(huán)境配置 97
任務(wù)2：Python基礎(chǔ)案例 100
任務(wù)3：網(wǎng)頁(yè)數(shù)據(jù)的請(qǐng)求與響應(yīng) 103
任務(wù)4：使用Python連接MySQL
數(shù)據(jù)庫(kù) 106
課后拓展 108
本章小結(jié) 109
第6章 大數(shù)據(jù)采集 110
課前自學(xué) 111
一、大數(shù)據(jù)采集技術(shù) 111
二、Scrapy框架簡(jiǎn)介 112
課中實(shí)訓(xùn) 113
任務(wù)1：安裝并啟動(dòng)Scrapy爬蟲(chóng)
框架 113
任務(wù)2：通過(guò)XPath對(duì)網(wǎng)頁(yè)進(jìn)行
解析 115
任務(wù)3：獲取電商平臺(tái)類目信息 119
課后拓展 120
本章小結(jié) 121
第7章 大數(shù)據(jù)預(yù)處理 122
課前自學(xué) 123
一、數(shù)據(jù)處理過(guò)程中的常見(jiàn)問(wèn)題
及原因 123
二、數(shù)據(jù)預(yù)處理的流程與方法 124
課中實(shí)訓(xùn) 128
任務(wù)1：使用Excel進(jìn)行數(shù)據(jù)
預(yù)處理 128
任務(wù)2：使用OpenRefine進(jìn)行數(shù)據(jù)
預(yù)處理 130
任務(wù)3：使用Python進(jìn)行數(shù)據(jù)
預(yù)處理 137
課后拓展 140
一、讀取數(shù)據(jù)文件的常用方法 140
二、Python中常見(jiàn)的數(shù)據(jù)預(yù)處理
函數(shù) 141
本章小結(jié) 141
第8章 大數(shù)據(jù)與機(jī)器學(xué)習(xí)基礎(chǔ) 142
課前自學(xué) 143
一、大數(shù)據(jù)分析方法與方法論 143
二、數(shù)據(jù)分析與數(shù)據(jù)挖掘相關(guān)
概念 144
三、機(jī)器學(xué)習(xí)：讓系統(tǒng)更聰明 146
課中實(shí)訓(xùn) 152
任務(wù)1：Python機(jī)器學(xué)習(xí)庫(kù)配置 152
任務(wù)2：基于跨境電商數(shù)據(jù)的特征
分析 155
任務(wù)3：基于Apriori算法的金融
產(chǎn)品組合 158
課后拓展 160
本章小結(jié) 162
第9章 大數(shù)據(jù)可視化 163
課前自學(xué) 164
一、數(shù)據(jù)可視化基礎(chǔ) 164
二、典型圖表介紹 165
課中實(shí)訓(xùn) 171
任務(wù)1：基于ECHARTS和Excel的
圖表可視化 171
任務(wù)2：使用Matplotlib繪制
折線圖 173
任務(wù)3：使用Matplotlib繪制
散點(diǎn)圖 175
任務(wù)4：讀取數(shù)據(jù)并繪制散點(diǎn)圖 176
任務(wù)5：對(duì)短視頻數(shù)據(jù)進(jìn)行探索性
分析 177
課后拓展 184
本章小結(jié) 185
第10章 金融客戶數(shù)據(jù)案例分析 186
課前自學(xué) 187
一、需求分析 187
二、數(shù)據(jù)挖掘分析相關(guān)技術(shù) 188
課中實(shí)訓(xùn) 189
任務(wù)1：探索性分析 189
任務(wù)2：數(shù)據(jù)預(yù)處理：判斷異常值
和降維處理 189
任務(wù)3：K最近鄰算法分析 193
任務(wù)4：邏輯回歸算法分析 194
任務(wù)5：決策樹(shù)算法分析 196
課后拓展 199
本章小結(jié) 200
第11章 交通大數(shù)據(jù)綜合案例分析 201
課前自學(xué) 202
一、數(shù)據(jù)集類型 202
二、交通大數(shù)據(jù)處理需求分析 203
課中實(shí)訓(xùn) 204
任務(wù)1：數(shù)據(jù)分析流程設(shè)計(jì) 204
任務(wù)2：數(shù)據(jù)預(yù)處理 208
任務(wù)3：模型訓(xùn)練與數(shù)據(jù)預(yù)測(cè) 212
任務(wù)4：數(shù)據(jù)輸出 214
課后拓展 215
本章小結(jié) 218
參考文獻(xiàn) 219