本書介紹了如何使用Python編寫網絡爬蟲批量采集互聯(lián)網數據，如何處理與保存采集到的信息，以及如何從眾多紛亂的數據中提取到真正有用的信息。并介紹了幾種常用的數據可視化工具。
第1章 拍檔：網絡爬蟲與Python語言
1.1 什么是網絡爬蟲 1
1.1.1 網絡爬蟲的定義 2
1.1.2 網絡爬蟲的工作流程 2
1.1.3 網絡爬蟲的分類 3
1.1.4 為什么選擇用Python編寫網絡爬蟲 4
1.1.5 編寫爬蟲的注意事項 4
1.2 Python環(huán)境配置 5
1.2.1 Python的安裝 5
1.2.2 Python第三方庫的安裝 6
【示例1-1】使用包管理器安裝科學計算庫numpy 6
【示例1-2】源代碼方式安裝xlrd庫（使用setup.py文件） 7
【示例1-3】源代碼方式安裝xlrd庫（使用whl文件） 8
1.2.3 Python開發(fā)工具的選擇 8
【示例1-4】將文本編輯器配置成Python開發(fā)工具（以Notepad++為例） 12
1.3 Python基本語法 13
1.3.1 Python書寫規(guī)則 13
1.3.2 Python基本數據類型 18
【示例1-5】以列表a = ['a','a','b','c','d','d','e']為例講解List的基本操作 21
【示例1-6】以列表a = [1,2,3,4,5,6,7,8]為例講解數據型列表的屬性分析 23
【示例1-7】以字典a為例，講解字典的基本操作 25
1.3.3 Python獨有數據生成方式：推導式 29
1.3.4 函數 30
【示例1-8】局部變量與全局變量重名的運行結果與解決方案 31
1.3.5 條件與循環(huán) 34
1.3.6 類與對象 35
【示例1-9】請輸出學生信息中某學生的班級、姓名和總分數 35
1.3.7 Python 2代碼轉為Python 3代碼 36
【示例1-10】以文件test.py為例，介紹Python 2代碼到Python 3代碼的轉化 37
第2章 應知應會：網絡爬蟲基本知識
2.1 網頁的構成 38
2.1.1 HTML基本知識 39
2.1.2 網頁中各元素的排布 46
【示例2-1】以新浪博客文本為例，學習各類元素的排布規(guī)則 46
2.2 正則表達式 48
2.2.1 正則表達式簡介 48
2.2.2 Python語言中的正則表達式 49
【示例2-2】正則表達式應用中，當匹配次數達到10萬時，預先編譯對正則表達式性能的提升 51
2.2.3 綜合實例：正則表達式的實際應用——在二手房網站中提取有用信息 52
2.3 漢字編碼問題 54
2.3.1 常見編碼簡介 54
2.3.2 常用編程環(huán)境的默認編碼 55
2.3.3 網頁編碼 56
2.3.4 編碼轉換 56
2.4 網絡爬蟲的行為準則 57
2.4.1 遵循Robots協(xié)議 57
2.4.2 網絡爬蟲的合法性 59
第3章 靜態(tài)網頁爬取
3.1 Python常用網絡庫 61
3.1.1 urllib庫 62
【示例3-1】從眾多代理IP中選取可用的IP 63
【示例3-2】百度搜索“Python”url演示Parse模塊應用 66
3.1.2 綜合實例：批量獲取高清壁紙 68
3.1.3 requests庫 71
【示例3-3】用requests實現豆瓣網站模擬登錄 72
3.1.4 綜合實例：爬取歷史天氣數據預測天氣變化 74
3.2 網頁解析工具 77
3.2.1 更易上手：BeautifulSoup 77
【示例3-4】解析HTML文檔（以豆瓣讀書《解憂雜貨店》為例） 78
3.2.2 更快速度：lxml 81
3.2.3 BeautifulSoup與lxml對比 82
【示例3-5】爬取豆瓣讀書中近5年出版的評分7分以上的漫畫 82
【示例3-6】BeautifulSoup和lxml解析同樣網頁速度測試（基于網易新聞頁） 85
3.2.4 綜合實例：在前程無憂中搜索并抓取不同編程語言崗位的平均收入 85
第4章 動態(tài)網頁爬取
4.1 AJAX技術 89
4.1.1 獲取AJAX請求 90
4.1.2 綜合實例：抓取簡書百萬用戶個人主頁 91
4.2 Selenium操作瀏覽器 97
4.2.1 驅動常規(guī)瀏覽器 97
4.2.2 驅動無界面瀏覽器 100
4.2.3 綜合實例：模擬登錄新浪微博并短視頻 101
4.3 爬取移動端數據 103 <
書單推薦
