91在线免费在线,亚洲一区欧美日韩精品中文字幕

本書根據新工科建設及應用型本科院校人才培養(yǎng)對數據科學與大數據技術教學方面的需求，力求簡單易懂，以Python為主線，按照學習者的知識邏輯展開，呈現數據科學與大數據技術的基本知識、基本概念、基本方法。本書內容主要包括：什么是大數據、Python基礎知識、數據分析與可視化、數據挖掘、機器學習、大數據處理等。本書可作為普通高等院校計算機、大數據、人工智能等相關學科專業(yè)的教材用書。其他理工科專業(yè)的同學或有興趣的廣大讀者，也可以作為學習數據科學、大數據技術、數據管理及應用等方面基礎知識的自學教材或參考用書。

前言信息化時代的到來使得人類的生活達到了歷史上前所未有的高度，數據資源的重要性越發(fā)突顯出來。大數據和人工智能的結合，更是將數據的發(fā)掘與利用推向了新的高潮。全球范圍內數據人才奇缺，教育部和各大高校也意識到這一問題，更是將數據科學人才培養(yǎng)與學科建設提上日程。從 2013 年起，在國內教育領域掀起了利用大數據來促進教育改革和創(chuàng)新發(fā)展相關研究的熱潮，大數據的教育應用研究迅速發(fā)展起來，直接表現為研究論文數量和質量倍增。2014 年 3 月，教育部辦公廳印發(fā)的《2014 年教育信息化工作要點》中指出：加強對動態(tài)監(jiān)測、決策應用、教育預測等相關數據資源的整合與集成，為教育決策提供及時和準確的數據支持，推動教育基礎數據在全國的共享。近年來，教育部積極采取措施，加強大數據人才培養(yǎng)，支撐大數據技術產業(yè)發(fā)展。自 2014 年起，為貫徹落實教育規(guī)劃綱要，創(chuàng)新產學合作協(xié)同育人機制，教育部組織有關企業(yè)和高校實施產學合作協(xié)同育人項目。在相關專業(yè)設置方面，2015 年本科專業(yè)特設新專業(yè)數據科學與大數據技術，布點3個；同年10月，教育部公布了新修訂的《普通高等學校職業(yè)教育（�？疲⿲I(yè)目錄（2015 年）》，主動適應大數據時代發(fā)展需要，新設了云計算技術與應用、電子商務技術專業(yè)，增設了網絡數據分析應用專業(yè)方向。隨著我國教育信息化進程的不斷推進，必將加快大數據與教育領域的深度融合，這是當前時代教育事業(yè)發(fā)展的必然趨勢。2016年2月，北京大學、對外經濟貿易大學、中南大學首次成功申請到數據科學與大數據技術本科新專業(yè)。2017年3月，第二批32所高校獲批。2018年教育部新公布的高校新增專業(yè)名單中有248所學校獲批，是過去兩次審批通過額度近8倍。2019年3月28日，教育部公布了2018年度普通高等學校本科專業(yè)備案和審批結果，共有196個高校新增備案大數據本科專業(yè)。除了數據科學與大數據專業(yè)外，教育部在其官網的公告上還宣布35所高校新增人工智能本科學業(yè)。本書的緣起近年來，國內出版的關于數據處理、數據分析等書籍層出不窮，但觀其內容，不同的專家和學者從不同的角度提出了他們對于大數據的理解和認識。其中，有的專家側重在數據分析上，重點討論了統(tǒng)計學、機器學習等相關內容；有的專家側重在數據處理上，重點討論了數據挖掘、數據庫管理等相關內容；有的專家側重在數據平臺上，重點討論了各種計算平臺和硬件設備等相關內容。多樣化的觀點支撐了多樣化的教材，特別是當編者團隊在面向一線教學的工作中發(fā)現，一本涉獵廣泛、由淺入深、適合入門者研習和一線教師使用的教材亟待出現。2018年，華中科技大學出版社不棄淺陋，邀請幾位編者參與到本書的編撰工作當中。大家一致認為這是一個非常寶貴的機會，希望能夠跟同行們分享多年的心得和體會，也幫助相關專業(yè)的學生能夠對大數據領域產生興趣。本書的編寫過程本書以當下大數據發(fā)展的新科研教學成果，從培養(yǎng)學生大數據思維入手組織內容。本書采用理論提升實踐的模式，以理解大數據理論為基礎，以知識擴展為提升，以數據處理、數據挖掘案例為實踐，努力做到既促進數據思維的培養(yǎng)，又避免流于形式；既適用總體知識需求，又滿足個體深層要求。每章章前設計了內容介紹與本章重點，章后附有小結和習題。內容介紹與本章重點部分緊密結合教學目標和特點，緊扣教學重點，突出計算思維方法；小結部分對每章知識進行歸納總結、突出重點；習題部分的題目大多選自一些國外經典參考資料，也包括編者結合多年教學實踐經驗設計出來的典型范例，力求使讀者全面地鞏固所學知識。在本書的編寫過程中，編者從系統(tǒng)的視角介紹數據科學與大數據技術的相關基礎理論和應用，同時注意突出語言文字應用的規(guī)范性。在選擇內容時，既注意到穩(wěn)定性，又注意吸收比較成熟的有價值的新成果，同時編寫適合教學和鞏固知識的習題。本書內容力求保持較強的系統(tǒng)性，基本概念的闡述力求嚴謹、清晰，敘述力求通俗易懂，增強了可讀性和啟發(fā)性。本書的內容大數據導論是計算機科學與技術、數據科學與大數據技術等相關專業(yè)本科生的專業(yè)課程和其他專業(yè)的先修課程，是國內外大學計算機學科教育體系中的核心課程之一。它承擔著系統(tǒng)、全面地介紹大數據的基礎知識和數據挖掘、數據處理的基礎知識及其簡單應用，為后續(xù)學習奠定堅實的基礎，使學生能夠具備基本理論知識和簡單編程的能力，同時提高學生綜合素質與創(chuàng)新思維。本書第一章簡述了大數據的基本概念，從什么是大數據這一問題入手，從其定義、相關科學、領域應用等方面系統(tǒng)的介紹了大數據的基本概念，簡要地對后續(xù)章節(jié)中所述內容進行了闡述。第二章和第三章簡要的講述了Python在大數據中的應用，第二章對Python的基礎知識進行了講解，以便學生能盡快對Python有一個簡單的認識，第三章描述了如何利用Python對數據進行處理、分析以及可視化等。第四章從如何進行數據挖掘入手，描述了數據挖掘的源起、工具以及如何對數據進行存儲、利用。第五章概述了機器學習的幾種算法，從其所講述的算法中，可以看到無論是傳統(tǒng)的機器學習算法還是新興的神經網絡算法，數據是不可或缺的一部分。第六章介紹了能夠對海量數據進行分析的軟件框架Hadoop。Hadoop平臺釋放了前所未有的計算能力，同時大大降低了計算成本。致本書的使用者（1）學生使用者本書涉及到了大數據領域的多個方面，編寫團隊希望給各位同學提供一個全面的圖景來幫助大家盡快入門。為了大家能夠更好去理解相關的知識點，每個部分的寫法和闡述方式略有不同。同時，在本課程開始以前希望大家具有一定的線性代數和概率論的背景知識，學習本書將輕松許多。（2）教師使用者本書適用于本門課程的學習，不光數據科學與大數據技術專業(yè)的學生可以學習，計算機科學與技術專業(yè)的學生也可以用來學習相關知識。對于不同層次的學生，根據本科生和研究生的不同，都可以進行講授，只需要針對知識點和深度有所側重。（3）專業(yè)技術人員針對專業(yè)技術人員，本書可以作為一本參考書，當中包含的內容寬泛，既涉及到軟件的安裝和配置方法，又介紹了大量的常用算法。本書的章節(jié)編排經過大量的專家討論，方便專業(yè)人士直接查詢相關內容。致謝在本書的成書過程中，編寫團隊和華中科技大學出版社保持了愉快的合作，再次感謝出版社各位編輯的幫助和支持。本書由上海工程技術大學方志軍教授擔任主編，安順學院于為、湖北工大董新華、上海工程技術大學黃勃、俞雷共同參與編寫。本書的編寫過程中，參考了大量的文獻資料，一并感謝！同時也幫助了編寫團隊加深了對大數據領域的理解，但由于水平有限，在內容安排、表達、推導等方面難免存在不當，敬請廣大讀者朋友不吝賜教。編者 2019年6月

第1章什么是大數據 1
1.1 數據、大數據及數據挖掘 1
1.1.1 數據 1
1.1.2 大數據 2
1.1.3 數據挖掘 3
1.1.4 數據挖掘的技術基礎 4
1.2 大數據與統(tǒng)計學 6
1.3 機器學習與人工智能 7
1.3.1 機器學習與人工智能 7
1.3.2 機器學習的定義 8
1.4 相關領域應用 9
1.4.1 數據挖掘的相關案例 9
1.4.2 大數據應用領域 12
1.5 小結 15
1.6 習題 16
第2章 Python基礎知識 17
2.1 Python概述 17
2.1.1 Python簡介 17
2.1.2 Python的特點 18
2.1.3 Python集成開發(fā)環(huán)境的搭建 19
2.2 Python數據類型 22
2.2.1 數字 22
2.2.2 字符串 27
2.2.3 索引與分片 33
2.2.4 列表 35
2.2.5 元組 41
2.2.6 可變與不可變類型 44
2.2.7 字典 46
2.2.8 集合與不可變集合 50
2.3 判斷與循環(huán) 56
2.3.1 判斷語句 56
2.3.2 循環(huán)語句 62
2.3.3 一些簡單實例 69
2.4 函數與模塊 72
2.4.1. Python函數 72
2.4.2 內置函數 77
2.4.3 模塊 81
2.4.4 階段案例學生管理系統(tǒng) 86
2.5 文件讀寫 91
2.5.1 讀文件 91
2.5.2 寫文件 92
2.5.3 中文文件的讀寫 94
2.6 異常與警告 95
2.6.1 異常 95
2.6.2 警告 103
2.7 本章小結 104
2.8 習題 105
第3章數據分析與可視化 107
3.1 Python數據分析包 107
3.1.1 Pandas 107
3.1.2 Numpy 108
3.1.3 SciPy 108
3.1.4 Matplotlib 109
3.2 數據準備 110
3.2.1 數據類型 110
3.2.2 數據結構 110
3.2.3 數據導入 119
3.2.4 數據導出 122
3.3 數據處理 125
3.3.1 數據清洗 125
3.3.2 數據抽取 130
3.3.3 排名索引 141
3.3.4 數據合并 145
3.3.5 數據計算 150
3.3.6 數據分組 151
3.3.7 日期處理 153
3.4 數據分析 159
3.4.1 基本統(tǒng)計 159
3.4.2 分組分析 161
3.4.3 分布分析 162
3.4.4 交叉分析 165
3.4.5 結構分析 167
3.4.6 相關分析 169
3.5 數據可視化 171
3.5.1 餅圖 171
3.5.2 散點圖 172
3.5.3 折線圖 174
3.5.4 柱形圖 179
3.5.5 直方圖 182
3.6 本章小結 183
3.7 習題 184
第4章數據挖掘（SQL/Python） 186
4.1 數據挖掘緒論 186
4.1.1 數據挖掘定義 186
4.1.2 數據挖掘源起 187
4.1.3 數據挖掘研究目標 188
4.1.4 數據挖掘開源工具 190
4.2數據存儲 194
4.2.1 數據庫數據 194
4.2.2 數據倉庫 195
4.2.3 數據倉庫建模和實現 197
4.2.4 非關系型數據庫 201
4.2.5 實時流數據與框架 203
4.3 數據挖掘技術 204
4.3.1 分類與預測 204
4.3.2 聚類分析 207
4.3.3 關聯規(guī)則 212
4.3.4 離群點檢測 215
4.3.5 時間序列分析 218
4.4 數據挖掘應用 220
4.4.1 系統(tǒng)日志和時間挖掘 220
4.4.2 社交媒體挖掘 222
4.4.3 文本挖掘 225
4.4.4 推薦系統(tǒng) 227
4.4.5 數據挖掘與智慧城市 228
4.5 習題 232
第5章機器學習 241
5.1機器學習概述 241
5.1.1 機器學習的概念 241
5.1.2 機器學習的歷史 242
5.1.3 機器學習的發(fā)展 243
5.2 回歸分析 243
5.2.1 線性回歸介紹 243
5.2.2 線性回歸相關性 247
5.2.3 多項式回歸數據擬合 250
5.2.4 非線性回歸 250
5.3 分類算法 251
5.3.1 k近鄰算法 251
5.3.2 決策樹算法 253
5.3.3 支持向量機算法 255
5.3.4 樸素貝葉斯算法 256
5.4 聚類算法 259
5.4.1 k-means算法 259
5.4.2 層次聚類算法 262
5.5 深度學習 263
5.5.1 人工神經網絡 263
5.5.2 感知機和深度神經網絡 264
5.5.3 循環(huán)網絡 265
5.5.4 卷積神經網絡 266
5.5.5 自編碼器 267
5.6 機器學習的應用 268
5.7 本章小結 270
5.8 習題 271
第6章大數據處理 273
6.1 Hadoop概述 273
6.1.1 Hadoop簡介 273
6.1.2 Hadoop的特性 274
6.1.3 Hadoop的發(fā)展 274
6.2 Hadoop生態(tài)系統(tǒng) 275
6.2.1 HDFS 276
6.2.2 MapReduce 276
6.2.3 HBase 277
6.2.4 Hive 277
6.2.5 Pig 277
6.2.6 Zookeeper 277
6.2.7 Mahout 277
6.2.8 Sqoop 277
6.2.9 Flume 278
6.2.10 Ambari 278
6.3 Hadoop集群的安裝與配置 278
6.3.1 操作系統(tǒng)CentOS的安裝 279
6.3.2 創(chuàng)建Hadoop用戶與系統(tǒng)設置 279
6.3.3 安裝Java 280
6.3.4 安裝Hadoop 281
6.3.5 克隆虛擬機與網絡設置 284
6.3.6 SSH無密碼登錄設置 285
6.3.7 啟停和驗證集群 286
6.4 分布式文件系統(tǒng)HDFS 288
6.4.1 HDFS相關概念 288
6.4.2 HDFS體系結構 289
6.4.3 HDFS的數據讀寫過程 290
6.4.4 HDFS文件訪問與控制 293
6.4.5 編程實踐：HDFS文件上傳、下載與讀寫 294
6.5 MapReduce編程模型 295
6.5.1 MapReduce基本原理 295
6.5.2 MapReduce的工作機制 297
6.5.3 編程實踐：統(tǒng)計日志 299
6.6 資源管理調度框架YARN 303
6.6.1 YARN設計思路 303
6.6.2 YARN體系結構 304
6.6.3 YARN工作流程 306
6.6.4 編程實踐：在YARN上運行WordCount程序 307
6.7 Spark 310
6.7.1 Spark簡介 310
6.7.2 Spark生態(tài)系統(tǒng) 311
6.7.3 Spark運行架構 312
6.7.4 Spark的部署和應用架構 316
6.7.5 Spark集群的安裝與配置 317
6.7.6 Pyspark安裝與配置 321
6.7.7 編程實踐：統(tǒng)計素數數量 326
6.8 本章小結 328
6.9 習題 329

你還可能感興趣

我要評論