第 一部分 生成式AI基礎(chǔ) 第 1 章 生成式AI 簡(jiǎn)介 2 11 本書(shū)的內(nèi)容 3 12 生成式AI 簡(jiǎn)介 4 13 生成式AI 的功能 7 131 實(shí)體提取 7 132 文本生成 8 133 圖像生成 10 134 代碼生成 11 135 邏輯問(wèn)題求解 13 136 音樂(lè)生成 15 137 視頻生成 16 14 企業(yè)應(yīng)用案例 16 15 生成式AI 的局限性 17 16 生成式AI 與傳統(tǒng)AI 的區(qū)別 18 17 企業(yè)應(yīng)采取何種策略 20 18 架構(gòu)考量 21 19 企業(yè)部署生成式AI 的流程 22 110 小結(jié) 23 第 2 章 大語(yǔ)言模型概述 24 21 基礎(chǔ)模型簡(jiǎn)介 24 22 LLM簡(jiǎn)介 26 23 Transformer 架構(gòu) 27 24 訓(xùn)練截止點(diǎn) 27 25 LLM的類型 28 26 小型語(yǔ)言模型 29 27 商業(yè)LLM 與開(kāi)源LLM 31 271 商業(yè)LLM 32 272 開(kāi)源LLM 32 28 LLM的核心概念 33 281 提示詞 34 282 token 35 283 token 計(jì)數(shù) 38 284 嵌入 40 285 模型配置 42 286 上下文窗口 44 287 提示工程 45 288 模型適配 46 289 涌現(xiàn)行為 46 29 小結(jié) 50 第3 章 使用API：文本生成 51 31 模型類別 52 311 依賴項(xiàng) 53 312 模型列表 55 32 文本補(bǔ)全API 56 321 文本補(bǔ)全詳解 59 322 Azure 內(nèi)容安全過(guò)濾器 61 323 生成多個(gè)文本補(bǔ)全結(jié)果 61 324 控制隨機(jī)性 63 325 使用top_p 控制隨機(jī)性 66 33 文本補(bǔ)全API 的高級(jí)選項(xiàng) 67 331 流式補(bǔ)全 67 332 使用logit_bias 影響token 的生成概率 69 333 存在懲罰和頻率懲罰 72 334 對(duì)數(shù)概率 73 34 聊天補(bǔ)全API 75 341 系統(tǒng)角色 77 342 結(jié)束原因 79 343 聊天補(bǔ)全API 在非聊天場(chǎng)景中 的應(yīng)用 79 344 對(duì)話管理 80 345 管理token 的最佳實(shí)踐 83 346 LLM及其供應(yīng)商 83 35 小結(jié) 84 第4 章 從像素到圖像：圖像生成 85 41 視覺(jué)模型 85 411 VAE 88 412 GAN 89 413 視覺(jué)Transformer 模型 90 414 擴(kuò)散模型 92 415 多模態(tài)模型 94 42 使用Stable Diffusion 生成圖像 96 421 依賴項(xiàng) 96 422 圖像生成 97 43 使用其他模型生成圖像 100 431 OpenAI DALL·E 3 101 432 Bing 圖像生成器 101 433 Adobe Firefly 102 44 使用Stable Diffusion 編輯和增強(qiáng) 圖像 102 441 使用圖生圖API 生成圖像 106 442 使用遮罩API 進(jìn)行局部編輯 107 443 使用放大API 調(diào)整圖像尺寸 109 444 圖像生成技巧 111 45 小結(jié) 111 第5 章 AI 還能生成什么 113 51 代碼生成 113 511 AI 生成的代碼是否可信 115 512 GitHub Copilot 117 513 GitHub Copilot 的工作原理 120 52 其他代碼相關(guān)任務(wù) 121 521 代碼解釋 121 522 生成測(cè)試代碼 123 523 代碼引用 124 524 代碼重構(gòu) 124 53 其他代碼生成工具 125 531 Amazon CodeWhisperer 125 532 Code Llama 126 533 Tabnine 128 534 自我檢查 128 535 代碼生成的最佳實(shí)踐 129 54 視頻生成 130 55 音頻和音樂(lè)生成 132 56 小結(jié) 133 第二部分 高級(jí)技術(shù)與應(yīng)用 第6 章 提示工程指南 136 61 什么是提示工程 136 62 提示工程基礎(chǔ) 138 63 上下文學(xué)習(xí)與上下文提示 141 64 提示工程技術(shù) 143 641 系統(tǒng)消息 143 642 零樣本學(xué)習(xí)、少樣本學(xué)習(xí)和 多樣本學(xué)習(xí) 146 643 清晰的語(yǔ)法 148 644 讓上下文學(xué)習(xí)發(fā)揮作用 149 645 推理：思維鏈 150 646 自一致性采樣 154 65 圖像提示 155 66 提示詞注入 157 67 提示工程面臨的挑戰(zhàn) 159 68 最佳實(shí)踐 160 69 小結(jié) 161 第7 章 檢索增強(qiáng)生成：秘密武器 162 71 什么是RAG 162 72 RAG 的優(yōu)勢(shì) 163 73 RAG 架構(gòu) 165 74 檢索器系統(tǒng) 166 75 理解向量數(shù)據(jù)庫(kù) 167 751 什么是向量索引 168 752 向量搜索 168 76 RAG 系統(tǒng)面臨的挑戰(zhàn) 171 77 應(yīng)對(duì)分塊的挑戰(zhàn) 172 771 分塊策略 172 772 影響分塊策略的因素 173 773 應(yīng)對(duì)未知的復(fù)雜性 176 774 句子分塊 177 775 基于NLP 的分塊方法 178 78 PDF 分塊 183 79 小結(jié) 186 第8 章 與數(shù)據(jù)對(duì)話 187 81 企業(yè)使用自有數(shù)據(jù)的優(yōu)勢(shì) 187 811 更大的上下文窗口 188 812 使用自有數(shù)據(jù)構(gòu)建聊天應(yīng)用 程序 189 82 使用向量數(shù)據(jù)庫(kù) 190 83 信息檢索規(guī)劃 193 84 數(shù)據(jù)檢索 200 85 使用Redis 進(jìn)行搜索 204 86 基于RAG 的端到端聊天實(shí)現(xiàn) 206 87 使用Azure OpenAI 處理數(shù)據(jù) 209 88 使用RAG 集成數(shù)據(jù)的優(yōu)勢(shì) 211 89 小結(jié) 212 第9 章 通過(guò)適配與微調(diào)定制模型 213 91 什么是模型適配 214 911 模型適配的基礎(chǔ) 214 912 企業(yè)應(yīng)用模型適配的優(yōu)勢(shì)和 挑戰(zhàn) 215 92 何時(shí)對(duì)LLM進(jìn)行微調(diào) 216 921 微調(diào)LLM 的關(guān)鍵階段 218 93 微調(diào)OpenAI 模型 219 931 準(zhǔn)備微調(diào)數(shù)據(jù)集 219 932 LLM評(píng)估 223 933 微調(diào) 225 934 微調(diào)訓(xùn)練指標(biāo) 229 935 使用Azure OpenAI 進(jìn)行微調(diào) 232 94 部署微調(diào)模型 234 941 推理 235 95 訓(xùn)練LLM 236 951 預(yù)訓(xùn)練 237 952 監(jiān)督微調(diào) 237 953 獎(jiǎng)勵(lì)建模 238 954 強(qiáng)化學(xué)習(xí) 238 955 直接策略優(yōu)化 238 96 模型適配技術(shù) 238 961 LoRA 240 97 RLHF 概述 242 971 RLHF 面臨的挑戰(zhàn) 244 972 擴(kuò)大RLHF 應(yīng)用規(guī)模 245 98 小結(jié) 246 第三部分 部署與倫理考量 第 10 章 生成式AI 應(yīng)用架構(gòu)設(shè)計(jì) 248 101 生成式AI 應(yīng)用架構(gòu) 248 1011 軟件20 249 1012 Copilot 時(shí)代 250 102 生成式AI 應(yīng)用技術(shù)棧 250 1021 集成生成式AI 技術(shù)棧 252 1022 生成式AI 架構(gòu)原則 253 1023 生成式AI 應(yīng)用架構(gòu)詳述 254 103 編排層 256 1031 編排框架的優(yōu)勢(shì) 257 1032 編排框架 258 1033 運(yùn)營(yíng)管理 259 1034 提示詞管理 268 104 基礎(chǔ)層 269 1041 數(shù)據(jù)的集成和預(yù)處理 269 1042 嵌入與向量管理 271 105 模型層 272 1051 模型集成架構(gòu) 273 1052 模型服務(wù) 277 106 響應(yīng)過(guò)濾層 277 107 小結(jié) 278 第 11 章 規(guī)�；�：生產(chǎn)部署的最佳 實(shí)踐 279 111 生產(chǎn)部署面臨的挑戰(zhàn) 280 112 部署選項(xiàng) 282 113 通過(guò)API 托管的LLM 282 114 生產(chǎn)部署的最佳實(shí)踐 283 1141 LLM推理指標(biāo) 283 1142 延遲 284 1143 可擴(kuò)展性 287 1144 PAYGO 290 1145 配額和速率限制 290 1146 配額管理 291 1147 可觀測(cè)性 293 1148 安全性與合規(guī)性考量 301 115 生成式AI 的運(yùn)營(yíng)考量 301 1151 可靠性與性能考量 301 1152 托管身份 302 1153 緩存 303 116 LLMOps 與MLOps 307 117 生產(chǎn)部署清單 309 118 小結(jié) 310 第 12 章 評(píng)估與基準(zhǔn)測(cè)試 311 121 LLM 評(píng)估 312 122 傳統(tǒng)評(píng)估指標(biāo) 312 1221 BLEU 313 1222 ROUGE 313 1223 BERTScore 314 1224 傳統(tǒng)評(píng)估指標(biāo)的示例 314 123 LLM 特定任務(wù)基準(zhǔn)測(cè)試 317 1231 G-Eval：一種用于NLG 評(píng)估 的測(cè)量方法 318 1232 基于LLM的評(píng)估指標(biāo)示例 320 1233 HELM 324 1234 HEIM 325 1235 HellaSWAG 326 1236 MMLU 326 1237 使用Azure AI Studio 進(jìn)行 評(píng)估 327 1238 DeepEval：一個(gè)LLM 評(píng)估 框架 328 124 新的評(píng)估基準(zhǔn) 329 1241 SWE-bench 329 1242 MMMU 330 1243 MoCa 331 1244 HaluEval 331 125 人工評(píng)估 332 126 小結(jié) 333 第 13 章 生成式AI 倫理指南：原則、 實(shí)踐和陷阱 334 131 生成式AI 的風(fēng)險(xiǎn) 335 1311 LLM 的局限性 335 1312 幻覺(jué) 336 132 生成式AI 攻擊 337 1321 提示詞注入 337 1322 不安全輸出處理 343 1323 模型拒絕服務(wù) 343 1324 數(shù)據(jù)投毒與后門 344 1325 敏感信息泄露 344 1326 過(guò)度依賴 345 1327 模型盜竊 346 133 RAI 生命周期 347 1331 識(shí)別危害 348 1332 測(cè)量與評(píng)估危害 349 1333 緩解危害 350 1334 透明度與可解釋性 351 134 紅隊(duì)測(cè)試 352 1341 紅隊(duì)測(cè)試示例 353 1342 紅隊(duì)測(cè)試工具和技術(shù) 354 135 內(nèi)容安全 356 1351 Azure AI Content Safety 357 1352 Perspective API 362 1353 內(nèi)容過(guò)濾器評(píng)估 365 136 小結(jié) 366 附錄A 本書(shū)的GitHub 倉(cāng)庫(kù) 367 附錄B RAI 工具 368 參考文獻(xiàn) 372