前言

步驟1　正態(tài)分布 1

1.1　概率的基礎(chǔ)知識(shí) 1

1.1.1　隨機(jī)變量和概率分布 1

1.1.2　概率分布的類型 3

1.1.3　期望值和方差 4

1.2　正態(tài)分布 6

1.2.1　正態(tài)分布的概率密度函數(shù) 6

1.2.2　正態(tài)分布的代碼實(shí)現(xiàn) 7

1.2.3　參數(shù)的作用 9

1.3　中心極限定理 11

1.3.1　什么是中心極限定理 11

1.3.2　中心極限定理的實(shí)驗(yàn) 12

1.4　樣本和的概率分布 15

1.4.1　樣本和的期望值和方差 15

1.4.2　通過(guò)代碼確認(rèn) 16

1.4.3　均勻分布的均值和方差★ 18

1.5　身邊的正態(tài)分布 19

步驟2　最大似然估計(jì) 22

2.1　生成式模型的基礎(chǔ)知識(shí) 22

2.1.1　什么是生成式模型 22

2.1.2　總體和樣本 23

2.2　使用真實(shí)數(shù)據(jù)實(shí)現(xiàn)生成式模型 24

2.2.1　讀取身高數(shù)據(jù)集 25

2.2.2　基于正態(tài)分布的生成式模型 26

2.3　最大似然估計(jì)的理論知識(shí) 28

2.3.1　似然的最大化 29

2.3.2　利用導(dǎo)數(shù)求最大值 30

2.3.3　正態(tài)分布的最大似然估計(jì)★ 31

2.4　生成式模型的用途 35

2.4.1　新的數(shù)據(jù)的生成 35

2.4.2　概率的計(jì)算 38

步驟3　多維正態(tài)分布 41

3.1　NumPy 和多維數(shù)組 41

3.1.1　多維數(shù)組 41

3.1.2　NumPy 中的多維數(shù)組 43

3.1.3　逐元素的運(yùn)算 44

3.1.4　向量的內(nèi)積和矩陣積 44

3.2　多維正態(tài)分布 46

3.2.1　多維正態(tài)分布的數(shù)學(xué)式 47

3.2.2　多維正態(tài)分布的實(shí)現(xiàn) 52

3.3　二維正態(tài)分布的可視化 54

3.3.1　三維圖形的繪制方法 54

3.3.2　等高線的繪制 57

3.3.3　二維正態(tài)分布的圖形 58

3.4　多維正態(tài)分布的最大似然估計(jì) 61

3.4.1　進(jìn)行最大似然估計(jì) 61

3.4.2　最大似然估計(jì)的實(shí)現(xiàn) 63

3.4.3　使用真實(shí)數(shù)據(jù) 65

步驟4　高斯混合模型 67

4.1　我們身邊的多峰分布 67

4.1.1　多峰分布的數(shù)據(jù)集 69

4.2　高斯混合模型的數(shù)據(jù)生成 70

4.2.1　利用GMM 生成數(shù)據(jù) 71

4.2.2　生成數(shù)據(jù)的代碼 72

4.3　GMM 的數(shù)學(xué)式 74

4.3.1　概率的復(fù)習(xí) 74

4.3.2　GMM 的數(shù)學(xué)式 74

4.3.3　GMM 的實(shí)現(xiàn) 77

4.4　參數(shù)估計(jì)中的難點(diǎn) 79

4.4.1　GMM 的參數(shù)估計(jì) 79

步驟5　EM 算法 81

5.1　KL 散度 81

5.1.1　關(guān)于數(shù)學(xué)式的表示方法 81

5.1.2　KL 散度的定義式 82

5.1.3　KL 散度與最大似然估計(jì)之間的關(guān)系 85

5.2　EM 算法的推導(dǎo)① 87

5.2.1　擁有潛變量的模型 88

5.2.2　任意概率分布 89

5.3　EM 算法的推導(dǎo)② 91

5.3.1　ELBO（證據(jù)的下限） 91

5.3.2　進(jìn)入EM 算法 92

5.3.3　擴(kuò)展到多個(gè)數(shù)據(jù) 96

5.3.4　的證明★ 97

5.4　GMM 和EM 算法★ 98

5.4.1　EM 算法的E 步驟★ 98

5.4.2　EM 算法的M 步驟★ 100

5.5　EM 算法的實(shí)現(xiàn) 104