第一章 大語(yǔ)言模型基礎(chǔ)知識(shí) 001～037
第一節(jié) LLM基礎(chǔ) 003
一、LLM概述 003
二、大模型存在的問(wèn)題 010
三、檢索增強(qiáng)生成（RAG） 012
四、大模型的改進(jìn)方法 014
第二節(jié) GPT模型介紹 016
一、GPT模型的發(fā)展歷程 018
二、GPT模型的關(guān)鍵論文 024
三、GPT模型的結(jié)構(gòu)可視化 028
第三節(jié) 開(kāi)源、工具和實(shí)戰(zhàn) 034

第二章 大語(yǔ)言模型的技術(shù)細(xì)節(jié) 038～103
第一節(jié) 大語(yǔ)言模型的全局視圖 040
第二節(jié) 注意力機(jī)制 049
一、自注意力機(jī)制 050
二、多頭注意力機(jī)制 053
第三節(jié) 編碼、嵌入和神經(jīng)網(wǎng)絡(luò) 057
一、位置編碼 057
二、旋轉(zhuǎn)位置編碼 059
三、字段編碼 062
四、前饋網(wǎng)絡(luò) 064
五、層歸一化 066
第四節(jié) 權(quán)重、參數(shù)和訓(xùn)練策略 068
一、權(quán)重 068
二、Transformer的訓(xùn)練策略和優(yōu)化方法 070
三、Transformer模型的正則化技術(shù) 072
四、注意力機(jī)制的變種和改進(jìn) 073
五、Transformer模型微調(diào)的常見(jiàn)策略 074
第五節(jié) 更多原理剖析 075
一、零樣本提示 075
二、少量樣本提示 076
三、Transformer模型中的殘差連接 077
四、文本生成源碼解讀 078
第六節(jié) 大模型的能與不能 082
一、人工智能的大工業(yè)時(shí)代 083
二、ChatGPT不等于人工智能 084
第七節(jié) 圖示Transformer和實(shí)戰(zhàn)GPT-2 085
一、圖示Transformer 085
二、實(shí)戰(zhàn)GPT-2 096
第八節(jié) 實(shí)戰(zhàn)：手動(dòng)部署大模型 101

第三章 開(kāi)源大模型和Llama實(shí)戰(zhàn) 104～123
第一節(jié) Llama的結(jié)構(gòu) 106
第二節(jié) 運(yùn)行Llama3 110
第三節(jié) Llama微調(diào) 112
一、微調(diào)的步驟 112
二、微調(diào)的方法 114
三、微調(diào)所需的基礎(chǔ)知識(shí) 119
第四節(jié) 實(shí)戰(zhàn)：大語(yǔ)言模型(LLM)微調(diào)框架 121

第四章 中文Llama模型 124～167
第一節(jié) 中文數(shù)據(jù)準(zhǔn)備 128
一、中文數(shù)據(jù)處理的技術(shù) 130
二、中文數(shù)據(jù)處理的過(guò)程 138
三、中文數(shù)據(jù)處理的工具 140
第二節(jié) 基于中文數(shù)據(jù)的模型訓(xùn)練 143
一、指令數(shù)據(jù)搜集和處理 143
二、AdaLoRA算法剖析 146
三、大模型指令微調(diào)之量化 147
四、大模型壓縮技術(shù) 149
五、大模型蒸餾技術(shù) 150
第三節(jié) 模型評(píng)測(cè) 151
第四節(jié) 人類(lèi)反饋的集成 156
第五節(jié) 實(shí)戰(zhàn)：中文應(yīng)用開(kāi)發(fā) 159
一、基于Llama的醫(yī)學(xué)大模型的開(kāi)源項(xiàng)目 159
二、基于Llama的法律大模型的開(kāi)源項(xiàng)目 161
三、基于Llama的金融大模型的開(kāi)源項(xiàng)目 163
四、基于Llama的科技論文大模型的
開(kāi)源項(xiàng)目 166

第五章 實(shí)戰(zhàn)大語(yǔ)言模型應(yīng)用 168～192
第一節(jié) 大模型的基礎(chǔ)設(shè)施創(chuàng)新 169
一、數(shù)據(jù)庫(kù)創(chuàng)新開(kāi)源項(xiàng)目 169
二、將自然語(yǔ)言問(wèn)題轉(zhuǎn)換為 SQL 查詢(xún) 171
三、將大模型數(shù)據(jù)查詢(xún)SQL化 173
第二節(jié) 基于大模型的應(yīng)用創(chuàng)新 174
一、基于LLM的開(kāi)源代碼編寫(xiě)助手 174
二、開(kāi)源數(shù)據(jù)交互工具 176
三、領(lǐng)先的文檔GPT開(kāi)源項(xiàng)目 178
第三節(jié) 大模型的優(yōu)化和發(fā)展創(chuàng)新 180
一、開(kāi)源的大模型用戶(hù)分析平臺(tái) 180
二、低代碼方式搭建大模型 181
三、開(kāi)源搜索增強(qiáng)RAG項(xiàng)目 184
第四節(jié) Agent技術(shù) 185
一、微軟開(kāi)源的強(qiáng)大Agent——AutoGen 186
二、讓Agent去完成RPA 189
三、讓Agent去標(biāo)注數(shù)據(jù)——Adala 190

第六章 開(kāi)源文生圖 193～220
第一節(jié) 文生圖技術(shù)概述 194
一、生成對(duì)抗網(wǎng)絡(luò)（GANs）介紹 195
二、GANs在圖片生成方面的應(yīng)用 196
三、GANs圖片應(yīng)用的說(shuō)明和原理 198
第二節(jié) 開(kāi)源文生圖模型介紹 202
一、Stable Diffusion介紹 203
二、LDMs介紹 208
三、DALL-E和Stable Diffusion 209
第三節(jié) 開(kāi)源文生圖模型技術(shù)要點(diǎn) 213
一、LDMs的源代碼導(dǎo)讀 213
二、用一個(gè)案例說(shuō)明Stable Diffusion 214
三、實(shí)戰(zhàn)：部署開(kāi)源項(xiàng)目stable-diffusion-webui 218
第四節(jié) 實(shí)戰(zhàn)：打造基于開(kāi)源的文生圖應(yīng)用 220

第七章 開(kāi)源文生視頻 221～228
第一節(jié) 開(kāi)源文生視頻介紹 222
第二節(jié) 文生視頻技術(shù)難點(diǎn)和路線(xiàn) 224
一、文生視頻技術(shù)難點(diǎn) 224
二、開(kāi)源文生視頻路線(xiàn) 226
第三節(jié) 開(kāi)源文生視頻應(yīng)用 227

第八章 開(kāi)源多模態(tài) 229～240
第一節(jié) 多模態(tài)介紹 231
第二節(jié) 多模態(tài)的技術(shù)細(xì)節(jié) 232
一、GPT-4o的多模態(tài)介紹 234
二、視覺(jué)指令調(diào)整 235
第三節(jié) 開(kāi)源多模態(tài)案例 235
一、LLaVA實(shí)現(xiàn)GPT-4V級(jí)別的開(kāi)源多模態(tài) 235
二、開(kāi)源LLaVA-1.5介紹 237
三、MGM：一個(gè)強(qiáng)大的多模態(tài)大模型 238

第九章 DeepSeek實(shí)戰(zhàn) 241～253
第一節(jié) DeepSeek核心技術(shù)介紹 242
一、混合專(zhuān)家架構(gòu) 242
二、多頭潛在注意力機(jī)制 244
三、混合精度訓(xùn)練 245
第二節(jié) DeepSeek-R1模型復(fù)現(xiàn) 245
第三節(jié) DeepSeek-V3本地化源碼級(jí)部署 246
一、使用 DeepSeek-Infer 進(jìn)行推理演示 247
二、基于華為硬件的DeepSeek部署 248
第四節(jié) 基于DeepSeek的開(kāi)源應(yīng)用 249
一、基于DeepSeek的PPT生成系統(tǒng) 249
二、DeepSeek支持的可視化BI解決方案 250
三、DeepSeek支持的健康分析平臺(tái) 251
四、DeepSeek支持的智能測(cè)試用例生成平臺(tái) 251
五、可本地化部署的企業(yè)級(jí)DeepSeek知識(shí)管理平臺(tái) 252
六、基于DeepSeek的智能體RPA 252