第1章 大數(shù)據(jù)分析概論 1
課前自學 2
一、數(shù)據(jù)及其分類 2
二、大數(shù)據(jù)的概念 3
三、大數(shù)據(jù)產(chǎn)生的原因 4
四、大數(shù)據(jù)的作用 5
五、大數(shù)據(jù)對科學研究的影響 6
課中實訓：崗位數(shù)據(jù)采集與分析 7
任務1：人才供需現(xiàn)狀分析 8
任務2：數(shù)據(jù)采集與處理 9
任務3：詞頻統(tǒng)計與分析 11
課后拓展 13
本章小結 16
第2章 需求分析與指標體系構建 17
課前自學 18
一、數(shù)據(jù)分析的基本流程 18
二、數(shù)據(jù)分析指標體系 19
三、基礎數(shù)據(jù)分析方法 22
四、描述統(tǒng)計 25
課中實訓 26
任務1：城市跨境電商指標體系設計
(以W市為例) 26
任務2：設置數(shù)據(jù)分析工具庫 28
任務3：跨境電商數(shù)據(jù)描述統(tǒng)計 30
課后拓展 32
一、常見的數(shù)據(jù)分析方法論模型 32
二、數(shù)據(jù)分析指數(shù) 35
本章小結 37
第3章 大數(shù)據(jù)存儲與管理 38
課前自學 39
一、數(shù)據(jù)庫基礎知識 39
二、SQL查詢基礎知識 40
課中實訓 41
任務1：MySQL數(shù)據(jù)庫安裝與
配置 41
任務2：使用Navicat Premium
管理MySQL數(shù)據(jù)庫 45
任務3：數(shù)據(jù)表結構設計 45
任務4：數(shù)據(jù)庫查詢操作 49
課后拓展 51
一、MongoDB的安裝與數(shù)據(jù)模型
介紹 51
二、HBase數(shù)據(jù)庫簡介 52
本章小結 52
第4章 云計算與大數(shù)據(jù)的集成應用 53
課前自學 54
一、云計算的概念 54
二、云計算概念模型的特點 55
三、云計算的部署模式 56
四、云計算的服務模式(IaaS、PaaS
和SaaS) 59
五、云計算與大數(shù)據(jù)架構：
以Google為例 60
課中實訓 62
任務1：配置單臺虛擬機環(huán)境 63
任務2：安裝CentOS 7操作系統(tǒng)
并配置網(wǎng)絡 66
任務3：克隆并配置多臺虛擬機 69
任務4：Linux的常見操作 72
任務5：設置主機之間的免密登錄 74
任務6：在Liunx平臺下安裝JAVA
運行環(huán)境 75
任務7：配置hadoop環(huán)境 77
任務8：基于HDFS的MapReduce
詞頻數(shù)據(jù)分析 83
課后拓展 86
本章小結 91
第5章 網(wǎng)頁結構分析與Python編程
基礎 92
課前自學 93
一、網(wǎng)頁的基本結構 93
二、Python簡介與特點 95
三、Python基礎語法 96
課中實訓 97
任務1：Python開發(fā)環(huán)境配置 97
任務2：Python基礎案例 100
任務3：網(wǎng)頁數(shù)據(jù)的請求與響應 103
任務4：使用Python連接MySQL
數(shù)據(jù)庫 106
課后拓展 108
本章小結 109
第6章 大數(shù)據(jù)采集 110
課前自學 111
一、大數(shù)據(jù)采集技術 111
二、Scrapy框架簡介 112
課中實訓 113
任務1：安裝并啟動Scrapy爬蟲
框架 113
任務2：通過XPath對網(wǎng)頁進行
解析 115
任務3：獲取電商平臺類目信息 119
課后拓展 120
本章小結 121
第7章 大數(shù)據(jù)預處理 122
課前自學 123
一、數(shù)據(jù)處理過程中的常見問題
及原因 123
二、數(shù)據(jù)預處理的流程與方法 124
課中實訓 128
任務1：使用Excel進行數(shù)據(jù)
預處理 128
任務2：使用OpenRefine進行數(shù)據(jù)
預處理 130
任務3：使用Python進行數(shù)據(jù)
預處理 137
課后拓展 140
一、讀取數(shù)據(jù)文件的常用方法 140
二、Python中常見的數(shù)據(jù)預處理
函數(shù) 141
本章小結 141
第8章 大數(shù)據(jù)與機器學習基礎 142
課前自學 143
一、大數(shù)據(jù)分析方法與方法論 143
二、數(shù)據(jù)分析與數(shù)據(jù)挖掘相關
概念 144
三、機器學習：讓系統(tǒng)更聰明 146
課中實訓 152
任務1：Python機器學習庫配置 152
任務2：基于跨境電商數(shù)據(jù)的特征
分析 155
任務3：基于Apriori算法的金融
產(chǎn)品組合 158
課后拓展 160
本章小結 162
第9章 大數(shù)據(jù)可視化 163
課前自學 164
一、數(shù)據(jù)可視化基礎 164
二、典型圖表介紹 165
課中實訓 171
任務1：基于ECHARTS和Excel的
圖表可視化 171
任務2：使用Matplotlib繪制
折線圖 173
任務3：使用Matplotlib繪制
散點圖 175
任務4：讀取數(shù)據(jù)并繪制散點圖 176
任務5：對短視頻數(shù)據(jù)進行探索性
分析 177
課后拓展 184
本章小結 185
第10章 金融客戶數(shù)據(jù)案例分析 186
課前自學 187
一、需求分析 187
二、數(shù)據(jù)挖掘分析相關技術 188
課中實訓 189
任務1：探索性分析 189
任務2：數(shù)據(jù)預處理：判斷異常值
和降維處理 189
任務3：K最近鄰算法分析 193
任務4：邏輯回歸算法分析 194
任務5：決策樹算法分析 196
課后拓展 199
本章小結 200
第11章 交通大數(shù)據(jù)綜合案例分析 201
課前自學 202
一、數(shù)據(jù)集類型 202
二、交通大數(shù)據(jù)處理需求分析 203
課中實訓 204
任務1：數(shù)據(jù)分析流程設計 204
任務2：數(shù)據(jù)預處理 208
任務3：模型訓練與數(shù)據(jù)預測 212
任務4：數(shù)據(jù)輸出 214
課后拓展 215
本章小結 218
參考文獻 219