第 1章 緒論 1 1.1　引言　1 1.2　基本概念　2 1.3　概率基礎(chǔ)　4 1.3.1　概率定義　4 1.3.2　重要概念　5 1.3.3　隨機(jī)變量與概率分布　6 1.3.4　貝葉斯定理　8 1.3.5　隨機(jī)變量的數(shù)字特征　9 1.3.6　常見(jiàn)概率分布　11 1.4　發(fā)展歷程　13 1.5　本章小結(jié)　15 1.6　習(xí)題　15 第　2章 學(xué)習(xí)模式　17 2.1　學(xué)習(xí)模式的類型　17 2.1.1　判別式學(xué)習(xí)　17 2.1.2　生成式學(xué)習(xí)　18 2.2　判別式學(xué)習(xí)基礎(chǔ)　18 2.2.1　線性模型與非線性模型　19 2.2.2　經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化　19 2.2.3　結(jié)構(gòu)風(fēng)險(xiǎn)最小化　20 2.3　生成式學(xué)習(xí)基礎(chǔ)　21 2.3.1　貝葉斯推斷　21 2.3.2　最大似然估計(jì)　22 2.3.3　馬爾科夫鏈蒙特卡洛方法　24 2.3.4　變分推斷　25 2.4　模型的評(píng)估與選擇　27 2.4.1　偏差與方差　27 2.4.2　泛化能力　28 2.4.3　VC維　29 2.4.4　正則化與交叉驗(yàn)證　29 2.5　本章小結(jié)　31 2.6　習(xí)題　31 第3章　判別式模型　32 3.1　線性模型　32 3.1.1　線性回歸　32 3.1.2　線性判別分析　33 3.1.3　感知機(jī)　34 3.1.4　Logistic 回歸　35 3.2　決策樹(shù)　36 3.2.1　基本學(xué)習(xí)流程　36 3.2.2　特征選擇　37 3.2.3　決策樹(shù)的生成　38 3.3　神經(jīng)網(wǎng)絡(luò)　40 3.3.1　神經(jīng)元模型與多層網(wǎng)絡(luò)　40 3.3.2　誤差反向傳播算法　41 3.3.3　常見(jiàn)神經(jīng)網(wǎng)絡(luò)　42 3.4　K近鄰　45 3.4.1　K近鄰算法　45 3.4.2　K近鄰模型　45 3.4.3　K近鄰實(shí)現(xiàn)　47 3.5　支持向量機(jī)　48 3.5.1　基本概念　48 3.5.2　支持向量機(jī)模型　50 3.5.3　支持向量機(jī)實(shí)現(xiàn)　54 3.6　Boosting　56 3.6.1　AdaBoost算法　56 3.6.2　提升樹(shù)算法　59 3.6.3　梯度提升算法　61 3.7　條件隨機(jī)場(chǎng)　62 3.7.1　基本概念　62 3.7.2　條件隨機(jī)場(chǎng)模型　63 3.7.3　學(xué)習(xí)和推斷算法　65 3.8　判別式聚類　68 3.8.1　K-均值聚類　69 3.8.2　譜聚類　71 3.8.3　層次聚類　72 3.9　本章小結(jié)　76 3.10　習(xí)題　76 第4章　生成式模型　77 4.1　樸素貝葉斯　77 4.1.1　基本方法　77 4.1.2　后驗(yàn)概率最大化準(zhǔn)則　78 4.1.3　極大似然估計(jì)和貝葉斯估計(jì)　79 4.2　貝葉斯網(wǎng)絡(luò)　81 4.2.1　條件獨(dú)立性　81 4.2.2　貝葉斯球算法　82 4.3　貝葉斯神經(jīng)網(wǎng)絡(luò)　83 4.3.1　貝葉斯線性回歸　83 4.3.2　貝葉斯神經(jīng)網(wǎng)絡(luò)　84 4.3.3　高斯過(guò)程　85 4.4　隱馬爾可夫模型　87 4.4.1　基本概念　87 4.4.2　概率計(jì)算算法　88 4.4.3　學(xué)習(xí)算法　91 4.4.4　預(yù)測(cè)算法　94 4.5　馬爾可夫隨機(jī)場(chǎng)　96 4.5.1　基本概率　96 4.5.2　馬爾可夫關(guān)鍵性質(zhì)　97 4.5.3　參數(shù)估計(jì)與推斷　99 4.6　隱狄利克雷分配　103 4.6.1　基本概念　103 4.6.2　模型描述　105 4.6.3　模型實(shí)現(xiàn)　106 4.7　生成式聚類　110 4.7.1　高斯混合模型　110 4.7.2　密度聚類　113 4.7.3　隨機(jī)塊模型　115 4.8　本章小結(jié)　118 4.9　習(xí)題　118 第5章　高級(jí)機(jī)器學(xué)習(xí)概述　120 5.1　機(jī)器學(xué)習(xí)演變　120 5.2　特征表示學(xué)習(xí)　122 5.2.1　圖像數(shù)據(jù)表示學(xué)習(xí)　124 5.2.2　文本數(shù)據(jù)表示學(xué)習(xí)　125 5.2.3　圖數(shù)據(jù)表示學(xué)習(xí)　125 5.3　新型學(xué)習(xí)機(jī)制　126 5.3.1　自監(jiān)督學(xué)習(xí)　126 5.3.2　遷移學(xué)習(xí)　126 5.3.3　強(qiáng)化學(xué)習(xí)　128 5.3.4　大語(yǔ)言模型　129 5.4　本章小結(jié)　130 5.5　習(xí)題　131 第6章　特征表示學(xué)習(xí)　132 6.1　圖像數(shù)據(jù)表示學(xué)習(xí)　132 6.1.1　數(shù)據(jù)形式與任務(wù)　132 6.1.2　卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)架構(gòu)　133 6.1.3　經(jīng)典模型　139 6.2　文本數(shù)據(jù)表示學(xué)習(xí)　148 6.2.1　數(shù)據(jù)形式與任務(wù)　148 6.2.2　循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)　149 6.2.3　經(jīng)典模型　152 6.3　圖數(shù)據(jù)表示學(xué)習(xí)　162 6.3.1　數(shù)據(jù)形式與任務(wù)　162 6.3.2　圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)架構(gòu)　163 6.3.3　經(jīng)典模型　169 6.4　小結(jié)　179 6.5　習(xí)題　179 第7章　新型學(xué)習(xí)機(jī)制　180 7.1　自監(jiān)督學(xué)習(xí)　180 7.1.1　自監(jiān)督學(xué)習(xí)目的　181 7.1.2　生成式自監(jiān)督學(xué)習(xí)　183 7.1.3　對(duì)比式自監(jiān)督學(xué)習(xí)　191 7.1.4　對(duì)抗式自監(jiān)督學(xué)習(xí)　197 7.2　遷移學(xué)習(xí)　201 7.2.1　實(shí)例加權(quán)策略　201 7.2.2　特征變換策略　204 7.2.3　參數(shù)控制策略　205 7.3　強(qiáng)化學(xué)習(xí)　207 7.3.1　強(qiáng)化學(xué)習(xí)問(wèn)題　207 7.3.2　基于值函數(shù)的學(xué)習(xí)方法　213 7.3.3　基于策略函數(shù)的學(xué)習(xí)方法　220 7.3.4　演員-評(píng)論員算法　222 7.5　大語(yǔ)言模型學(xué)習(xí)　225 7.5.1　擴(kuò)展定律和涌現(xiàn)　225 7.5.2　大語(yǔ)言模型的架構(gòu)　227 7.5.3　預(yù)訓(xùn)練　227 7.5.4　微調(diào)　231 7.5.5　提示學(xué)習(xí)　233 7.5.6　大語(yǔ)言模型的缺陷　234 7.6　本章小結(jié)　237 7.7　習(xí)題　237 第8章　機(jī)器學(xué)習(xí)編程框架　239 8.1　機(jī)器學(xué)習(xí)實(shí)施流程　239 8.1.1　目標(biāo)分析　239 8.1.2　數(shù)據(jù)處理　240 8.1.3　特征工程　243 8.1.4　模型訓(xùn)練　246 8.1.5　模型評(píng)估　248 8.2　機(jī)器學(xué)習(xí)編程框架　253 8.2.1　Scikit-learn　253 8.2.2　PyTorch　255 8.2.3　TensorFlow　256 8.2.4　PaddlePaddle　259 8.2.5　MindSpore　260 8.3　本章小結(jié)　261 8.4　習(xí)題　262 第9章　人臉識(shí)別　264 9.1　背景　264 9.1.1　人臉識(shí)別簡(jiǎn)介　264 9.1.2　人臉識(shí)別發(fā)展歷程　265 9.1.2　人臉識(shí)別一般方法　266 9.1.3　人臉識(shí)別通用流程　267 9.1.4　人臉識(shí)別數(shù)據(jù)集　270 9.2　人臉檢測(cè)　276 9.2.1　Dlib庫(kù)簡(jiǎn)介　276 9.2.2　OpenCV簡(jiǎn)介　277 9.2.3　人臉檢測(cè)實(shí)驗(yàn)　278 9.3　人臉識(shí)別　280 9.3.1　基于傳統(tǒng)機(jī)器學(xué)習(xí)的人臉識(shí)別　280 9.3.2　基于深度學(xué)習(xí)的人臉識(shí)別　286 9.4　本章小結(jié)　292 9.5　習(xí)題　292 第　10章 災(zāi)害性天氣預(yù)報(bào)　294 10.1　背景　294 10.1.1災(zāi)害性天氣預(yù)報(bào)簡(jiǎn)介　294 10.1.2災(zāi)害性天氣預(yù)報(bào)基本流程　296 10.1.3經(jīng)典預(yù)報(bào)模型簡(jiǎn)介　297 10.1.4災(zāi)害性天氣預(yù)報(bào)數(shù)據(jù)集　300 10.2　災(zāi)害性天氣預(yù)報(bào)模型構(gòu)建　304 10.2.1　設(shè)計(jì)原理與模型結(jié)構(gòu)　304 10.2.2　基于PyTorch框架的代碼實(shí)現(xiàn)　306 10.3　預(yù)報(bào)模型訓(xùn)練與評(píng)估　310 10.3.1　數(shù)據(jù)介紹與處理　311 10.3.2　模型訓(xùn)練　312 10.3.3　模型評(píng)估　315 10.4　本章小結(jié)　318 10.5　習(xí)題　319 參考文獻(xiàn)　320