CONTENTS
目　　錄
前言
第一部分　RAG技術基礎
第1章　RAG 技術簡介　2
1.1　為什么需要 RAG　2
1.2　RAG技術的發(fā)展背景　 4
1.2.1　早期階段：信息檢索與問答系統(tǒng)　4
1.2.2　過渡階段：自然語言處理與機器學習　5
1.2.3　發(fā)展階段：RAG技術的興起與優(yōu)化　6
1.3　RAG技術的核心組成　8
1.3.1　檢索模塊　8
1.3.2　生成模塊　8
1.3.3　數(shù)據(jù)增強　9
1.4　與大語言模型集成　9
1.4.1　RAG與LLM的結合　9
1.4.2　LangChain和LlamaIndex　10
1.5　RAG面臨的挑戰(zhàn)　11
1.6　總結　12
第2章　RAG技術背后的原理　13
2.1　Embedding技術　13
2.1.1　為什么RAG要用
Embedding　13
2.1.2　Embedding 的工作原理　14
2.1.3　Embedding的發(fā)展歷程　15
2.1.4　Embedding 的代碼示例　16
2.2　數(shù)據(jù)索引與檢索　18
2.2.1　數(shù)據(jù)索引的基本概念　19
2.2.2　數(shù)據(jù)檢索的基本原理　23
2.2.3　數(shù)據(jù)索引與檢索的技術
實現(xiàn)　24
2.2.4　數(shù)據(jù)索引與檢索的應用
場景　25
2.3　大語言模型　26
2.3.1　大語言模型的特點　26
2.3.2　大語言模型的技術原理　26
2.3.3　大語言模型在RAG中的
應用　29
2.4　總結　30
第二部分　RAG應用構建流程
第3章　數(shù)據(jù)準備與處理　34
3.1　數(shù)據(jù)清洗　34
3.1.1　數(shù)據(jù)收集　34
3.1.2　文本處理　37
3.1.3　文本分詞　 39
3.2　文本分割　41
3.2.1　固定大小分塊　42
3.2.2　遞歸分塊　44
3.2.3　基于文檔邏輯的分塊　45
3.2.4　語義分塊　47
3.3　索引構建　48
3.3.1　列表索引　49
3.3.2　關鍵詞表索引　 51
3.3.3　向量索引　53
3.3.4　樹索引　55
3.3.5　文檔摘要索引　58
3.4　總結　60
第4章　檢索環(huán)節(jié)　62
4.1　索引構建與優(yōu)化　62
4.1.1　索引構建回顧　 62
4.1.2　索引更新策略　63
4.1.3　索引壓縮技術　71
4.1.4　多模態(tài)索引構建　72
4.2　檢索策略與算法　73
4.2.1　精確匹配檢索　74
4.2.2　相似度檢索　76
4.2.3　語義檢索　77
4.2.4　混合檢索　79
4.2.5　檢索結果排序與過濾　80
4.3　查詢轉(zhuǎn)化　84
4.3.1　查詢預處理　85
4.3.2　查詢擴展　85
4.3.3　查詢理解與意圖識別　96
4.4　總結　99
第5章　生成環(huán)節(jié)　100
5.1　LLM重排序　100
5.1.1　重排序的概念　101
5.1.2　LLM重排序的基本原理　102
5.2　提示工程　104
5.2.1　零樣本提示　105
5.2.2　少樣本提示　105
5.2.3　思維鏈提示　106
5.2.4　React　108
5.3　LLM歸納生成　109
5.3.1　數(shù)據(jù)合成　110
5.3.2　文章摘要生成　111
5.3.3　人物場景創(chuàng)作　112
5.3.4　對話生成　112
5.3.5　JSON結構化輸出　113
5.4　總結　115
第三部分　RAG技術進階
第6章　高級RAG優(yōu)化技術　118
6.1　索引構建優(yōu)化　118
6.1.1　長文檔優(yōu)化　119
6.1.2　大規(guī)模文檔系統(tǒng)的優(yōu)化　125
6.2　預檢索優(yōu)化　129
6.2.1　查詢轉(zhuǎn)換　129
6.2.2　查詢擴展　131
6.2.3　結構化查詢　132
6.2.4　查詢路由　136
6.2.5　查詢緩存　139
6.3　檢索階段優(yōu)化　140
6.3.1　知識圖譜的混合檢索　140
6.3.2　關鍵詞檢索與向量檢索
結合　145
6.3.3　微調(diào)嵌入模型　147
6.4　生成預處理　150
6.4.1　重排序　150
6.4.2 　壓縮與選擇　152
6.5　生成階段優(yōu)化　153
6.5.1　提示工程　154
6.5.2　歸因生成　155
6.5.3　事實驗證　156
6.5.4　生成模型微調(diào)　157
6.6　總結　159
第7章　常見RAG框架的實現(xiàn)
原理　161
7.1　自省式RAG　161
7.1.1　實現(xiàn)原理　162
7.1.2　構建自省式RAG應用　164
7.2　自適應RAG　167
7.2.1　實現(xiàn)原理　168
7.2.2　構建自適應RAG應用　168
7.3　基于樹結構索引的RAG　171
7.3.1　實現(xiàn)原理　171
7.3.2　樹結構的特點　172
7.3.3　構建RAPTOR-RAG應用　174
7.4　糾錯性RAG　176
7.4.1　實現(xiàn)原理　177
7.4.2　構建糾錯性RAG應用　178
7.5　RAG融合　182
7.5.1　實現(xiàn)原理　182
7.5.2　構建RAG融合系統(tǒng)　185
7.6　基于知識圖譜的RAG　187
7.6.1　實現(xiàn)原理　188
7.6.2　構建基于知識圖譜的RAG
應用　189
7.7　其他　192
7.7.1　RankRAG　192
7.7.2　RichRAG　193
7.7.3　RAG 2.0　194
7.8　總結　194
第8章　RAG系統(tǒng)性能評估　195
8.1　RAG評估指標　195
8.1.1　檢索環(huán)節(jié)評估　195
8.1.2　生成環(huán)節(jié)評估　198
8.2　常見的RAG評估框架　205
8.2.1　TruLens框架　205
8.2.2　RAGAs框架　210
8.2.3　ARES框架　213
8.2.4　其他　215
8.3　總結　222
第四部分　RAG應用實例
第9章　企業(yè)級RAG應用實踐　224
9.1　通用應用　224
9.1.1　智能文檔問答　224
9.1.2　企業(yè)知識庫智能搜索　226
9.1.3　智能客服系統(tǒng)　228
9.2　行業(yè)應用　230
9.2.1　RAG在金融行業(yè)的應用　230
9.2.2　RAG在醫(yī)療行業(yè)的應用　232
9.2.3　RAG在法律行業(yè)的應用　233
9.2.4　RAG在教育行業(yè)的應用　235
9.3　構建企業(yè)級RAG系統(tǒng)　236
9.3.1　用戶認證　236
9.3.2　輸入防護　237
9.3.3　RAG組件　238
9.3.4　輸出防護　239
9.3.5　反饋收集　239
9.3.6　數(shù)據(jù)存儲　240
9.3.7　可觀測性　240
9.4　總結　241
第10章　RAG技術展望　242
10.1　RAG 技術演進　242
10.1.1　大模型主動參與知識
選取　242
10.1.2　嵌入模型與大模型語義
空間融合　243
10.1.3　RAG流程動態(tài)編排　243
10.2　多模態(tài)RAG　244
10.2.1　三種檢索策略　244
10.2.2　兩種響應方式　244
10.3　RAG落地挑戰(zhàn)　245