目錄
第一篇 機(jī)器學(xué)習(xí)數(shù)學(xué)基礎(chǔ)
第1章 線(xiàn)性代數(shù) 1
1.1 基本術(shù)語(yǔ) 1
1.1.1 標(biāo)量與量 1
1.1.2 柜陣 3
1.1.3 張量 5
1.2 向量與矩陣的計(jì)算 6
1.2.1 向量與矩陣的加法和減法 6
1.2.2 向量?jī)?nèi)積 9
1.2.3 向量外積 11
1.2.4 矩陣乘法 12
1.2.5 矩陣轉(zhuǎn)置 15
1.3 特殊類(lèi)型的向量和矩陣 16
1.3.1 單位向量 16
1.3.2 單位矩陣和逆矩 16
1.3.3 對(duì)角矩陣 18
1.3.4 對(duì)稱(chēng)辦 19
1.3.5 正交向量與正交矩陣 20
1.4 向量間的距離 21
1.4.1 歐氏距離 21
1.4.2 曼哈頓距離 23
1.4.3 切比雪夫距離 23
1.4.4 夾角余弦距離 24
1.5 線(xiàn)性變換和特征分解 25
1.5.1 線(xiàn)性映射 25
1.5.2 特征值與特征向量 27
1.5.3 特征分解與對(duì)角化 28
1.5.4 奇異值分解 30
第2章 概率與統(tǒng)計(jì)基礎(chǔ) 32
2.1 概率的基本思想 32
2.1.1 試驗(yàn)結(jié)果與概率 32
2.1.2 概率的三個(gè)公理 35
2.1.3 機(jī)器學(xué)習(xí)與概率統(tǒng)計(jì) 36
2.2 條件概率和事件獨(dú)立性 37
2.2.1 條件概率 37
2.2.2 事件獨(dú)立性 38
2.2.3 貝葉斯定理 39
2.3 隨機(jī)變量 41
2.3.1 離散型隨機(jī)變量和連續(xù)型隨機(jī)變量 41
2.3.2 隨機(jī)變量的數(shù)字特征 43
2.3.3 隨機(jī)變量的聯(lián)合分布 46
2.4 統(tǒng)計(jì)基礎(chǔ) 47
2.4.1 總體與采樣 47
2.4.2 描述性統(tǒng)計(jì)量 48
2.4.3 置信區(qū)間和置信水平 50
2.4.4 參數(shù)估計(jì) 51
2.4.5 假設(shè)檢驗(yàn) 53
2.5 從數(shù)據(jù)中推斷概率模型 57
2.5.1 矩估計(jì) 57
2.5.2 最小二乘估計(jì) 57
2.5.3 最大似然估計(jì) 61
2.5.4 貝葉斯估計(jì) 62
第二篇 機(jī)器學(xué)習(xí)
第3章 機(jī)器學(xué)習(xí)基礎(chǔ) 64
3.1 機(jī)器學(xué)習(xí)簡(jiǎn)介 64
3.1.1 機(jī)器學(xué)習(xí)基本概念 64
3.1.2 機(jī)器學(xué)習(xí)的分類(lèi) 69
3.1.3 機(jī)器學(xué)習(xí)與人工智能、深度學(xué)習(xí)的關(guān)系 74
3.1.4 機(jī)器學(xué)習(xí)的路徑 77
3.2 機(jī)器學(xué)習(xí)任務(wù) 79
3.2.1 分類(lèi)任務(wù) 79
3.2.2 回歸任務(wù) 80
3.2.3 聚類(lèi)任務(wù) 81
3.3 提取高維空間中的重要關(guān)系 82
3.3.1 降維技術(shù) 82
3.3.2 主成分分析 84
3.3.3 線(xiàn)性判別分析 87
3.3.4 局部線(xiàn)性嵌入 90
3.4 欠擬合與過(guò)擬合 94
3.4.1 損失函數(shù)與評(píng)估函數(shù) 95
3.4.2 欠擬合與過(guò)擬合的識(shí)別 97
3.4.3 解決欠擬合與過(guò)擬合 103
第4章 分類(lèi)算法 105
4.1 分類(lèi)性能評(píng)估 105
4.1.1 分類(lèi)模型性能評(píng)價(jià)指標(biāo) 105
4.1.2 分類(lèi)模型性能評(píng)價(jià)方法 112
4.1.3 分類(lèi)模型參數(shù)調(diào)優(yōu) 118
4.2 決策樹(shù)算& 121
4.2.1 樹(shù)模型的發(fā)展歷程 121
4.2.2 決策樹(shù)分類(lèi)的基本流程 123
4.2.3 特征選擇問(wèn)題 124
4.2.4 經(jīng)典決策樹(shù)模型 129
4.2.5 提升決策樹(shù)模型性能 130
4.3 k-近鄰算法 135
4.3.1 k-近鄰算法原理和流程 135
4.3.2使用碰鄰算法進(jìn)行分類(lèi)應(yīng)用 136
4.3.3 k值選擇問(wèn)題 137
4.4 支持向量機(jī) 140
4.4.1 線(xiàn)性支持向量機(jī) 141
4.4.2 軟間隔支持向量機(jī) 144
4.4.3 核函數(shù)和非線(xiàn)性支持向量機(jī) 146
4.4.4 多分類(lèi)支持向量機(jī) 152
第5章 聚類(lèi)算法 155
5.1 聚類(lèi)算法評(píng) 156
5.1.1 內(nèi)部評(píng)價(jià)指標(biāo) 156
5.1.2 外部評(píng)價(jià)指標(biāo) 161
5.1.3 直觀評(píng)估方法 164
5.2 劃分法聚類(lèi)算法 164
5.2.1 免-Means算法原理和流程 165
5.2.2 k值選擇問(wèn)題 167
5.2.3 優(yōu)化和挑戰(zhàn) 170
5.3 層次聚類(lèi)算法 173
5.3.1 凝聚型層次聚類(lèi) 173
5.3.2 分裂型層次聚類(lèi) 176
5.3.3 簇?cái)?shù)選擇問(wèn)題 177
5.4 基于密度的聚類(lèi)算法 178
5.4.1 基本概念 179
5.4.2 DBSCAN算法原理和流程 180
5.4.3 DBSCAN 聚類(lèi)算法變種OPTICS 183
5.5 聚類(lèi)算法應(yīng)用 189
第6章 回歸算法 192
6.1 回歸模型的評(píng)估 192
6.1.1 絕對(duì)誤差指標(biāo) 193
6.1.2 相對(duì)誤差指標(biāo) 195
6.2 線(xiàn)性回歸模型 197
6.2.1 簡(jiǎn)單線(xiàn)性_模型 197
6.2.2 多元線(xiàn)性回歸模型 198
6.2.3 線(xiàn)性回歸模型的訓(xùn)練 198
6.3 嶺回歸 200
6.4 Lasso回歸 202
第三篇 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)
第7章 神經(jīng)網(wǎng)絡(luò) 209
7.1 神經(jīng)元模型 210
7.1.1 人工神經(jīng)元模S 210
7.1.2 激活函數(shù) 212
7.2 網(wǎng)絡(luò)結(jié)構(gòu) 214
7.2.1 單層神經(jīng)網(wǎng)絡(luò) 215
7.2.2 淺層神經(jīng)網(wǎng)絡(luò) 218
7.2.3 深層神經(jīng)網(wǎng)絡(luò) 218
7.3 模型訓(xùn)練 219
7.3.1 損失函數(shù)的選取 219
7.3.2 參數(shù)優(yōu)化 222
7.3.3 前向傳播與反向傳播 227
7.3.4 模型優(yōu)化避免過(guò)擬合 231
7.3.5 模型保存與模型部署 233
第8章 常見(jiàn)神經(jīng)網(wǎng)絡(luò) 235
8.1 卷積神經(jīng)網(wǎng)絡(luò) 235
8.1.1 核心概念 235
8.1.2 架構(gòu)詳解 237
8.1.3 損失函數(shù)和優(yōu)化算法 240
8.1.4 應(yīng)用案例 241
8.2 生成對(duì)抗醜 242
8.2.1 基本結(jié)構(gòu) 243
8.2.2 生成器和判別器的訓(xùn)練 243
8.2.3 模式崩潰 S 244
8.2.4應(yīng)用案例 246
8.3 Transformer 248
8.3.1 基本架構(gòu) 249
8.3.2 算法優(yōu)化 251
8.3.3 應(yīng)用案例 252
第9章 深度學(xué)習(xí)最新發(fā)展 254
9.1 遷移學(xué)習(xí) 254
9.1.1 常見(jiàn)遷移學(xué)習(xí)方法 254
9.1.2 遷移學(xué)習(xí)的應(yīng)用 255
9.1.3 遷移學(xué)習(xí)未來(lái)展望 256
9.2 強(qiáng)化學(xué)習(xí) 258
9.2.1 強(qiáng)化學(xué)習(xí)核心要素 258
9.2.2 強(qiáng)化學(xué)習(xí)的架構(gòu) 259
9.2.3 馬爾可夫決策過(guò)程 259
9.2.4 常見(jiàn)強(qiáng)化學(xué)習(xí)算法 260
9.2.5 強(qiáng)化學(xué)習(xí)未來(lái)展望 263
9.3 模型蒸饋 264
9.3.1 模型蒸餾原理 264
9.3.2 蒸餾過(guò)程與方法 266
9.3.3 模型蒸餾損失函數(shù) 267
9.3.4 模型蒸餾未來(lái)展望 269
9.4 大語(yǔ)言模型 270
9.4.1 大語(yǔ)言模型發(fā)展歷程 271
9.4.2 大語(yǔ)言模型 272
9.4.3 大語(yǔ)言模型的訓(xùn)練方法 273
9.4.4 大語(yǔ)言模型未來(lái)展望 274
參考文獻(xiàn) 276