第 1 章 理解大語言模型 1 主要概念速測 1 分節(jié)習題 3 11 什么是大語言模型 3 12 大語言模型的應用 4 13 構建和使用大語言模型的各個 階段 5 14 Transformer 架構介紹 5 15 利用大型數(shù)據(jù)集 6 16 深入剖析GPT 架構 7 17 構建大語言模型 9 答案 11 第 2 章 處理文本數(shù)據(jù) 18 主要概念速測 18 分節(jié)習題 20 21 理解詞嵌入 20 22 文本分詞 20 23 將詞元轉換為詞元ID 21 24 引入特殊上下文詞元 22 25 BPE 23 26 使用滑動窗口進行數(shù)據(jù)采樣 24 27 創(chuàng)建詞元嵌入 26 28 編碼單詞位置信息 27 章節(jié)練習 28 答案 29 第3 章 編碼注意力機制 38 主要概念速測 38 分節(jié)習題 40 31 長序列建模中的問題 40 32 使用注意力機制捕獲數(shù)據(jù)依賴 關系 41 33 通過自注意力機制關注輸入的 不同部分 41 34 實現(xiàn)帶可訓練權重的自注意力 機制 43 35 利用因果注意力隱藏未來詞匯 44 36 將單頭注意力擴展到多頭注意力 45 章節(jié)練習 47 答案 48 第4 章 從頭實現(xiàn)GPT 模型進行文本 生成 54 主要概念速測 54 分節(jié)習題 56 41 構建一個大語言模型架構 56 42 使用層歸一化進行歸一化激活 58 43 實現(xiàn)具有GELU 激活函數(shù)的 前饋神經網絡 59 44 添加快捷連接 60 45 連接Transformer 塊中的注意力層 和線性層 61 46 實現(xiàn)GPT 模型 62 47 生成文本 63 章節(jié)練習 64 答案 65 第5 章 在無標簽數(shù)據(jù)上進行預訓練 74 主要概念速測 74 分節(jié)習題 76 51 評估文本生成模型 76 52 訓練大語言模型 78 53 控制隨機性的解碼策略 79 54 使用PyTorch 加載和保存模型 權重 80 55 從OpenAI 加載預訓練權重 81 章節(jié)練習 81 答案 83 第6 章 針對分類的微調 91 主要概念速測 91 分節(jié)習題 93 61 不同類型的微調 93 62 準備數(shù)據(jù)集 94 63 創(chuàng)建數(shù)據(jù)加載器 95 64 初始化帶有預訓練權重的模型 97 65 添加分類頭 97 66 計算分類損失和準確率 97 67 在有監(jiān)督數(shù)據(jù)上微調模型 98 68 使用大語言模型作為垃圾消息 分類器 100 章節(jié)練習 101 答案 102 第7 章 通過微調遵循人類指令 110 主要概念速測 110 分節(jié)習題 112 71 指令微調介紹 112 72 為有監(jiān)督指令微調準備數(shù)據(jù)集 112 73 將數(shù)據(jù)組織成訓練批次 113 74 創(chuàng)建指令數(shù)據(jù)集的數(shù)據(jù)加載器 114 75 加載預訓練的大語言模型 116 76 在指令數(shù)據(jù)上微調大語言模型 116 77 抽取并保存模型回復 117 78 評估微調后的大語言模型 117 章節(jié)練習 118 答案 119 附錄A PyTorch 簡介 129 問題 129 答案 132 附錄B 參考文獻和延伸閱讀 136 附錄C 練習的解決方案 137 附錄D 為訓練循環(huán)添加更多細節(jié)和 優(yōu)化功能 138 問題 138 答案 139 附錄E 使用LoRA 進行參數(shù)高效微調 140 問題 140 答案 142