前言
第 1 講 緒論 /1
1.1 概述 /2
1.1.1 大模型前的人工智能歷史 /2
1.1.2 大模型的起源 /5
1.1.3 大模型的特點 /7
1.2 大模型的理論基礎(chǔ)、技術(shù)與前沿應(yīng)用 /8
1.2.1 大模型的理論基礎(chǔ) /9
1.2.2 大模型的訓(xùn)練技術(shù) /12
1.2.3 大模型的擴展與前沿應(yīng)用 /14
1.3 大模型的發(fā)展展望 /16
1.3.1 大模型的應(yīng)用前景 /16
1.3.2 大模型的未來研究方向 /17
參考文獻 /19
第 2 講 生成模型 /23
2.1 生成模型概述 /24
2.1.1 三個基本問題 /25
大模型十講
2.1.2 深度生成模型 /27
2.2 自回歸模型 /28
2.2.1 自回歸模型的表示 /28
2.2.2 自回歸模型的學(xué)習(xí) /31
2.2.3 自回歸模型的推斷 /32
2.3 變分自編碼器 /33
2.3.1 變分自編碼器的表示 /33
2.3.2 變分自編碼器的學(xué)習(xí) /34
2.3.3 變分自編碼器的推斷 /37
2.4 擴散概率模型 /38
2.4.1 擴散概率模型的表示 /38
2.4.2 擴散概率模型的學(xué)習(xí) /40
2.4.3 擴散概率模型的推斷 /43
2.5 生成對抗網(wǎng)絡(luò) /44
2.5.1 生成對抗網(wǎng)絡(luò)的表示 /44
2.5.2 生成對抗網(wǎng)絡(luò)的學(xué)習(xí) /45
2.5.3 生成對抗網(wǎng)絡(luò)的推斷 /46
2.6 本講小結(jié) /47
2.7 延伸閱讀 /48
2.8 課后習(xí)題 /48
參考文獻 /49
第 3 講 自監(jiān)督學(xué)習(xí) /53
3.1 自監(jiān)督模型概述 /54
vi
目 錄
3.1.1 自監(jiān)督學(xué)習(xí)的由來 /54
3.1.2 兩個基本問題 /56
3.2 自我預(yù)測 /58
3.2.1 自編碼器 /59
3.2.2 掩碼預(yù)測 /65
3.2.3 其他自我預(yù)測的方法 /72
3.3 對比學(xué)習(xí) /73
3.3.1 噪聲對比估計的基本原理 /74
3.3.2 對比預(yù)測編碼 /75
3.3.3 對比檢索器 /78
3.4 本講小結(jié) /81
3.5 延伸閱讀 /81
3.6 課后習(xí)題 /82
參考文獻 /82
第 4 講 強化學(xué)習(xí) /85
4.1 決策式人工智能 /86
4.1.1 預(yù)測、生成與決策 /86
4.1.2 決策式任務(wù)分類 /87
4.1.3 序貫決策 /88
4.2 強化學(xué)習(xí)的基本概念 /89
4.2.1 什么是強化學(xué)習(xí) /89
4.2.2 強化學(xué)習(xí)的環(huán)境建模：馬爾可夫決策過程 /90
4.2.3 智能體策略、價值與優(yōu)化目標 /91
vii
大模型十講
4.2.4 強化學(xué)習(xí)中的數(shù)據(jù)分布 /92
4.2.5 探索與利用 /93
4.3 表格式強化學(xué)習(xí) /94
4.3.1 動態(tài)規(guī)劃方法 /94
4.3.2 無模型的強化學(xué)習(xí)方法 /96
4.4 基于參數(shù)化函數(shù)的近似 /98
4.4.1 參數(shù)化的價值函數(shù) /98
4.4.2 參數(shù)化的策略 /99
4.4.3 ActorCritic
方法 /100
4.5 深度強化學(xué)習(xí) /102
4.5.1 深度學(xué)習(xí)和強化學(xué)習(xí)的結(jié)合 /102
4.5.2 深度價值函數(shù) /103
4.5.3 深度策略方法 /104
4.6 延伸閱讀 /106
4.6.1 強化學(xué)習(xí)的啟示 /106
4.6.2 強化學(xué)習(xí)技術(shù)落地挑戰(zhàn) /107
4.7 課后習(xí)題 /108
參考文獻 /110
第 5 講 預(yù)訓(xùn)練模型基礎(chǔ) /113
5.1 預(yù)訓(xùn)練模型概述 /114
5.2 模型架構(gòu) /115
5.2.1 簡單神經(jīng)網(wǎng)絡(luò) /115
5.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò) /116
viii
目 錄
5.2.3 Transformer /119
5.3 預(yù)訓(xùn)練任務(wù) /128
5.3.1 語言模型類任務(wù) /129
5.3.2 對比學(xué)習(xí)類任務(wù) /131
5.4 典型預(yù)訓(xùn)練模型 /132
5.4.1 Word2vec /133
5.4.2 ELMo /134
5.4.3 BERT /135
5.4.4 GPT /136
5.4.5 T5 /137
5.5 本講小結(jié) /139
5.6 延伸閱讀 /139
5.7 課后習(xí)題 /140
參考文獻 /141
第 6 講 大語言模型 /145
6.1 大語言模型概述 /146
6.2 大語言模型的動機 /147
6.2.1 擴展定律 /147
6.2.2 能力涌現(xiàn) /148
6.3 大語言模型的調(diào)優(yōu) /149
6.3.1 指令調(diào)優(yōu) /150
6.3.2 對齊調(diào)優(yōu) /153
6.4 典型大語言模型 /158
ix
大模型十講
6.5 大語言模型的問題 /160
6.5.1 幻覺 /160
6.5.2 安全 /165
6.5.3 其他問題 /169
6.6 本講小結(jié) /170
6.7 延伸閱讀 /171
6.8 課后習(xí)題 /172
參考文獻 /173
第 7 講 多模態(tài)大模型 /187
7.1 圖文對齊模型 /188
7.1.1 雙流模型 /188
7.1.2 單流模型 /192
7.1.3 混合模型 /195
7.2 文到圖生成模型 /197
7.2.1 基于生成對抗網(wǎng)絡(luò)架構(gòu)的方法 /198
7.2.2 基于 Transformer 架構(gòu)的方法 /201
7.2.3 基于擴散模型架構(gòu)的方法 /202
7.3 多模態(tài)生成與對話模型 /205
7.3.1 多模態(tài)信息理解 /205
7.3.2 多模態(tài)內(nèi)容生成 /210
7.4 本講小結(jié) /212
7.5 延伸閱讀 /212
7.6 課后習(xí)題 /213
x
目 錄
參考文獻 /214
第 8 講 決策大模型 /219
8.1 決策任務(wù)與大模型 /220
8.1.1 基于 Transformer 架構(gòu)的強化學(xué)習(xí) /220
8.1.2 決策任務(wù)的知識模態(tài) /222
8.1.3 面向大模型的決策任務(wù)學(xué)習(xí)范式 /223
8.2 決策策略的表示學(xué)習(xí) /225
8.2.1 決策序列數(shù)據(jù)的離散化 /225
8.2.2 狀態(tài) --動作的表示學(xué)習(xí) /227
8.2.3 獎勵的表示學(xué)習(xí) /229
8.3 策略學(xué)習(xí) /232
8.3.1 離線策略學(xué)習(xí) /233
8.3.2 在線策略學(xué)習(xí) /233
8.3.3 多智能體策略學(xué)習(xí) /234
8.4 預(yù)訓(xùn)練大模型與強化學(xué)習(xí) /235
8.4.1 大模型輔助的層次化任務(wù)分解 /235
8.4.2 工具使用的策略優(yōu)化 /236
8.4.3 基于強化反饋的大模型推理增強 /236
8.5 本講小結(jié) /237
8.6 延伸閱讀 /238
8.7 課后習(xí)題 /240
參考文獻 /241
xi
大模型十講
第 9 講 大語言模型的適配技術(shù)與自主智能體 /245
9.1 參數(shù)微調(diào) /246
9.1.1 全參數(shù)微調(diào) /246
9.1.2 高效參數(shù)微調(diào) /248
9.2 提示學(xué)習(xí) /255
9.2.1 任務(wù)指令設(shè)計 /257
9.2.2 任務(wù)映射方式設(shè)計 /258
9.2.3 思維鏈推理提示 /259
9.3 大模型自主智能體與工具學(xué)習(xí) /263
9.3.1 大模型自主智能體構(gòu)建 /263
9.3.2 大模型自主智能體應(yīng)用 /273
9.4 本講小結(jié) /276
9.5 延伸閱讀 /276
9.6 課后習(xí)題 /277
參考文獻 /278
第 10 講 多模態(tài)大模型的擴展與世界模擬器 /285
10.1 圖像可控生成與編輯 /286
10.1.1 圖到圖翻譯 /287
10.1.2 個性化生成 /292
10.1.3 引入額外控制條件 /294
10.1.4 交互式拖拽生成 /295
10.2 文到視頻生成 /297
xii
目 錄
10.2.1 基于文到圖模型的視頻生成與編輯 /298
10.2.2 文到視頻基礎(chǔ)模型 /300
10.3 文到三維內(nèi)容生成 /304
10.3.1 三維內(nèi)容的表示與渲染 /305
10.3.2 基于文到圖模型的零樣本三維內(nèi)容生成 /307
10.3.3 基于文到圖模型的多視圖生成 /310
10.3.4 文到三維內(nèi)容的基礎(chǔ)模型 /311
10.4 本講小結(jié) /313
10.5 延伸閱讀 /314
10.6 課后習(xí)題 /314
參考文獻 /315