第 1 章 機(jī)器學(xué)習(xí)基本概念 ............................................................................................................... 1
1.1 機(jī)器學(xué)習(xí)定義 ...................................................................................................................... 1
1.2 算法分類 ............................................................................................................................ 1
1.2.1 有監(jiān)督學(xué)習(xí) .............................................................................................................. 1
1.2.2 無監(jiān)督學(xué)習(xí) .............................................................................................................. 2
1.2.3 分類與回歸 .............................................................................................................. 2
1.2.4 判別模型與生成模型 ............................................................................................... 3
1.2.5 強(qiáng)化學(xué)習(xí) .................................................................................................................. 4
1.3 模型評價(jià)指標(biāo) ..................................................................................................................... 4
1.4 模型選擇 ............................................................................................................................ 5
1.4.1 訓(xùn)練誤差和泛化誤差 ............................................................................................... 6
1.4.2 驗(yàn)證數(shù)據(jù)集 .............................................................................................................. 6
1.4.3 過擬合與欠擬合 ....................................................................................................... 7
1.4.4 偏差-方差分解 ........................................................................................................ 8
第 2 章 決策樹 ................................................................................................................................. 9
2.1 基本概念 ............................................................................................................................ 9
2.2 決策樹的構(gòu)建 .................................................................................................................... 11
2.2.1 如何選擇最優(yōu)的劃分屬性 ...................................................................................... 11
2.2.2 決策樹的關(guān)鍵參數(shù) ................................................................................................. 13
2.2.3 決策樹的剪枝 ........................................................................................................ 14
2.2.4 連續(xù)值與缺失值的處理 ......................................................................................... 14
2.3 訓(xùn)練算法 .......................................................................................................................... 16
2.3.1 遞歸分裂 ................................................................................................................ 16
2.3.2 尋找最佳分裂 ........................................................................................................ 17
2.3.3 葉節(jié)點(diǎn)值的設(shè)定 ..................................................................................................... 20
2.3.4 屬性缺失 ................................................................................................................ 20
2.3.5 剪枝算法 ................................................................................................................ 20
2.4 決策樹算法案例 ................................................................................................................ 21
2.4.1 案例 1：鳥類與非鳥類判定 ......................................................................................... 21
2.4.2 案例 2：隱形眼鏡的類型決策 ..................................................................................... 26
第 3 章 K 最近鄰算法 .................................................................................................................... 31
3.1 基本概念 .......................................................................................................................... 31
3.2 算法原理及要素 ............................................................................................................... 31
3.3 預(yù)測算法 .......................................................................................................................... 32
3.4 距離定義 .......................................................................................................................... 33
3.4.1 常用距離定義 ........................................................................................................ 34
3.4.2 距離度量學(xué)習(xí) ........................................................................................................ 35
3.5 K 最近鄰算法案例 ........................................................................................................... 36
3.5.1 案例 1：基于 K 最近鄰算法的數(shù)據(jù)分類 ............................................................... 36
3.5.2 案例 2：基于 KNN 算法的手寫數(shù)字識別系統(tǒng)...................................................... 37
第 4 章 支持向量機(jī) ....................................................................................................................... 41
4.1 基本概念 .......................................................................................................................... 41
4.2 線性分類器 ...................................................................................................................... 42
4.2.1 線性分類器概述 ..................................................................................................... 42
4.2.2 分類間隔 ................................................................................................................ 43
4.3 線性可分性 ...................................................................................................................... 43
4.3.1 原問題 .................................................................................................................... 44
4.3.2 對偶問題 ................................................................................................................ 45
4.4 線性不可分 ...................................................................................................................... 47
4.4.1 原問題 .................................................................................................................... 47
4.4.2 對偶問題 ................................................................................................................ 47
4.5 核映射與核函數(shù) ............................................................................................................... 50
4.6 SMO 算法 ......................................................................................................................... 51
4.6.1 求解子問題 ............................................................................................................ 52
4.6.2 優(yōu)化變量的選擇 ..................................................................................................... 55
4.7 多分類問題 ...................................................................................................................... 56
4.8 SVM 算法案例 ................................................................................................................. 57
4.8.1 基于無核函數(shù)的小規(guī)模數(shù)據(jù)分類 .......................................................................... 57
4.8.2 基于核函數(shù)的手寫數(shù)字識別 .................................................................................. 65
第 5 章 線性模型 ........................................................................................................................... 71
5.1 基本形式 .......................................................................................................................... 71
5.2 logistic 回歸 ...................................................................................................................... 71
5.3 正則化 logistic 回歸 ......................................................................................................... 74
5.3.1 對數(shù)似然函數(shù) ........................................................................................................ 74
5.3.2 L2 正則化原問題 ................................................................................................... 75
5.3.3 L2 正則化對偶問題 ............................................................................................... 79
5.3.4 L1 正則化原問題 ................................................................................................... 80
5.4 logistic 回歸算法案例 ...................................................................................................... 81
5.4.1 logistic 回歸工作原理 ............................................................................................ 81
5.4.2 使用 logistic 回歸在簡單數(shù)據(jù)集上的分類 .............................................................. 81
第 6 章 貝葉斯分類器 ................................................................................................................... 85
6.1 貝葉斯決策 ...................................................................................................................... 85
6.1.1 貝葉斯決策概念 ..................................................................................................... 85
6.1.2 貝葉斯決策模型的定義 ......................................................................................... 86
6.1.3 貝葉斯決策的常用方法 ......................................................................................... 86
6.2 貝葉斯分類方法 ............................................................................................................... 89
6.3 樸素貝葉斯分類器 ........................................................................................................... 90
6.3.1 離散型特征 ............................................................................................................ 90
6.3.2 連續(xù)型特征 ............................................................................................................ 91
6.4 正態(tài)貝葉斯分類器 ........................................................................................................... 92
6.4.1 訓(xùn)練算法 ................................................................................................................ 92
6.4.2 預(yù)測算法 ................................................................................................................ 93
6.5 貝葉斯分類器案例 ........................................................................................................... 94
第 7 章 數(shù)據(jù)降維 ........................................................................................................................... 99
7.1 主成分分析 ...................................................................................................................... 99
7.1.1 數(shù)據(jù)降維方法 ...................................................................................................... 100
7.1.2 計(jì)算投影矩陣 ...................................................................................................... 101
7.1.3 向量降維 .............................................................................................................. 103
7.1.4 向量重構(gòu) .............................................................................................................. 103
7.2 線性判別分析 ................................................................................................................. 103
7.2.1 線性判別分析原理 ............................................................................................... 103
7.2.2 構(gòu)造判別模型的過程 ........................................................................................... 105
7.3 局部線性嵌入 ................................................................................................................. 106
7.4 拉普拉斯特征映射 ......................................................................................................... 107
7.5 數(shù)據(jù)降維算法案例 ......................................................................................................... 108
第 8 章 聚類算法 .......................................................................................................................... 112
8.1 聚類定義 ......................................................................................................................... 112
8.2 聚類分析過程及結(jié)果評估 .............................................................................................. 113
8.2.1 聚類分析過程 ....................................................................................................... 113
8.2.2 相似度度量 ........................................................................................................... 113
8.2.3 聚類算法的性能評估 ............................................................................................ 115
8.3 聚類算法分類 .................................................................................................................. 115
8.3.1 層次聚類算法 ....................................................................................................... 116
8.3.2 基于質(zhì)心的聚類算法 ............................................................................................ 117
8.3.3 基于概率分布的聚類算法 .................................................................................... 118
8.3.4 基于密度的聚類算法 ........................................................................................... 121
8.4 算法評價(jià)指標(biāo) ................................................................................................................. 126
8.4.1 內(nèi)部指標(biāo) .............................................................................................................. 126
8.4.2 外部指標(biāo) .............................................................................................................. 127
8.5 聚類算法案例 ................................................................................................................. 127
第 9 章 人工神經(jīng)網(wǎng)絡(luò) ................................................................................................................. 129
9.1 人工神經(jīng)網(wǎng)絡(luò)概念 ......................................................................................................... 129
9.2 多層前饋型神經(jīng)網(wǎng)絡(luò) ..................................................................................................... 130
9.2.1 神經(jīng)元 .................................................................................................................. 130
9.2.2 網(wǎng)絡(luò)結(jié)構(gòu) .............................................................................................................. 132
9.2.3 正向傳播算法 ...................................................................................................... 133
9.3 反向傳播算法 ................................................................................................................. 134
9.3.1 算法簡介 .............................................................................................................. 134
9.3.2 舉例說明 .............................................................................................................. 135
9.4 人工神經(jīng)網(wǎng)絡(luò)案例 ......................................................................................................... 139
第 10 章 隨機(jī)森林 ....................................................................................................................... 143
10.1 集成學(xué)習(xí) ...................................................................................................................... 143
10.1.1 集成學(xué)習(xí)概念 .................................................................................................... 143
10.1.2 隨機(jī)抽樣 ............................................................................................................ 144
10.1.3 Bagging 算法 ...................................................................................................... 144
10.2 隨機(jī)森林原理和生成過程 ........................................................................................... 145
10.3 訓(xùn)練算法 ...................................................................................................................... 146
10.4 變量 .............................................................................................................................. 147
10.5 隨機(jī)森林案例 ............................................................................................................... 148
第 11 章 機(jī)器學(xué)習(xí)在生物信息中的應(yīng)用 .................................................................................... 156
11.1 蛋白質(zhì)相互作用熱點(diǎn)識別 ........................................................................................... 156
11.2 實(shí)驗(yàn)數(shù)據(jù)集 ................................................................................................................... 157
11.2.1 訓(xùn)練數(shù)據(jù)集 ........................................................................................................ 157
11.2.2 獨(dú)立測試集 ........................................................................................................ 158
11.3 特征提取與機(jī)器學(xué)習(xí)建模 ........................................................................................... 158
11.3.1 蛋白質(zhì)特征 ........................................................................................................ 158
11.3.2 特征選擇 ............................................................................................................ 160
11.3.3 特征提取 ............................................................................................................ 161
11.3.4 機(jī)器學(xué)習(xí)建模 ..................................................................................................... 162
11.4 實(shí)驗(yàn)結(jié)果分析 ............................................................................................................... 162
11.4.1 實(shí)驗(yàn)環(huán)境說明 ..................................................................................................... 162
11.4.2 實(shí)驗(yàn)評估指標(biāo) ..................................................................................................... 162
11.4.3 訓(xùn)練集結(jié)果比較 ................................................................................................. 163
11.4.4 獨(dú)立測試集結(jié)果比較 ......................................................................................... 165
11.4.5 獨(dú)立測試集上具體蛋白質(zhì)分析 ........................................................................... 168