本書作為基于深度學(xué)習(xí)的自然語言處理基礎(chǔ)教程，介紹基于深度學(xué)習(xí)的自然語言處理領(lǐng)域的各種技術(shù)范式以及相關(guān)概念，構(gòu)建該領(lǐng)域的知識體系，幫助讀者對該領(lǐng)域知識有全面和系統(tǒng)的了解。全書共12章，分別介紹深度學(xué)習(xí)自然語言處理數(shù)據(jù)資源、常用的神經(jīng)網(wǎng)絡(luò)模型、語言模型的基本概念、注意力機(jī)制的基本概念、自然語言處理基本任務(wù)及建模方法、預(yù)訓(xùn)練語言模型，以及典型的自然語言處理核心任務(wù)模型。

更多科學(xué)出版社服務(wù)，請掃碼獲取。

1982.9~1986.7 太原理工大學(xué) 本科 學(xué)士 1994.9~2000.6 北京科技大學(xué) 碩士/博士1986.7~ 1994.8 太原理工大學(xué) 計算中心任教 助教 2000.7~2013 北京科技大學(xué) 自動化系 副教授/教授，博導(dǎo) 2013~現(xiàn)在, 中國科學(xué)院信息工程研究所, 研究員控制科學(xué)與工程 人工智能方向作為通訊作者、第一作者發(fā)表論文60篇，其中SCI檢索30篇、EI檢索50篇；專利成果26個；發(fā)表學(xué)術(shù)著作2個無

目錄
前言
第1章 緒論 1
1.1 人工智能與自然語言處理 1
1.1.1 人工智能 1
1.1.2 自然語言處理 1
1.1.3 自然語言處理知識體系 2
1.2 自然語言處理任務(wù) 2
1.3 自然語言處理技術(shù) 3
1.3.1 自然語言處理學(xué)派 3
1.3.2 自然語言處理發(fā)展歷程及技術(shù)變遷 4
1.4 自然語言處理技術(shù)支撐理論及資源 6
1.5 本書知識體系 8
參考文獻(xiàn) 10
第2章 深度學(xué)習(xí)自然語言處理數(shù)據(jù)資源 11
2.1 任務(wù)數(shù)據(jù)資源 12
2.1.1 文本分類 12
2.1.2 情感分析 12
2.1.3 機(jī)器翻譯 13
2.1.4 文本摘要 13
2.1.5 機(jī)器閱讀理解 14
2.1.6 問答系統(tǒng) 14
2.2 預(yù)訓(xùn)練數(shù)據(jù)資源 15
2.2.1 網(wǎng)頁數(shù)據(jù) 15
2.2.2 書籍 16
2.2.3 學(xué)術(shù)資料 17
2.2.4 維基百科 17
2.2.5 代碼 18
2.3 預(yù)訓(xùn)練微調(diào)數(shù)據(jù)資源 18
2.3.1 指令微調(diào)數(shù)據(jù)集 18
2.3.2 人類價值觀對齊數(shù)據(jù)集 19
2.4 其他資源 20
2.5 本章小結(jié) 21
參考文獻(xiàn) 21
第3章 深度學(xué)習(xí)基礎(chǔ)知識 25
3.1 神經(jīng)網(wǎng)絡(luò)基本概念 25
3.1.1 人工神經(jīng)網(wǎng)絡(luò) 25
3.1.2 神經(jīng)網(wǎng)絡(luò)基本特征 25
3.2 前饋神經(jīng)網(wǎng)絡(luò) 26
3.2.1 人工神經(jīng)元模型 26
3.2.2 激活函數(shù) 26
3.2.3 前饋神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 29
3.2.4 神經(jīng)網(wǎng)絡(luò)的梯度下降法 30
3.2.5 前饋神經(jīng)網(wǎng)絡(luò)的反向傳播算法 30
3.3 卷積神經(jīng)網(wǎng)絡(luò) 32
3.3.1 概述 32
3.3.2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 32
3.3.3 卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 34
3.3.4 卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用 34
3.4 循環(huán)神經(jīng)網(wǎng)絡(luò) 35
3.4.1 概述 35
3.4.2 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 35
3.4.3 循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練 36
3.4.4 梯度消失和爆炸 37
3.4.5 循環(huán)神經(jīng)網(wǎng)絡(luò)變體 38
3.4.6 循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用 39
3.5 本章小結(jié) 40
參考文獻(xiàn) 40
第4章 語言模型與詞向量 41
4.1 統(tǒng)計語言模型 41
4.1.1 語言模型基本概念 41
4.1.2 語言模型參數(shù)學(xué)習(xí) 43
4.1.3 參數(shù)的數(shù)據(jù)平滑 44
4.1.4 語言模型性能評估 45
4.1.5 語言模型應(yīng)用 46
4.1.6 語言模型變體擴(kuò)展 47
4.2 神經(jīng)網(wǎng)絡(luò)語言模型 49
4.2.1 神經(jīng)網(wǎng)絡(luò)語言模型概述 49
4.2.2 前饋神經(jīng)網(wǎng)絡(luò)語言模型 50
4.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型 52
4.2.4 循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型變體 54
4.3 淺層詞向量 56
4.3.1 詞表示概述 57
4.3.2 經(jīng)典詞向量表示模型 60
4.3.3 詞向量特征及應(yīng)用 67
4.4 本章小結(jié) 68
參考文獻(xiàn) 68
第5章 自然語言處理中的注意力機(jī)制 69
5.1 注意力機(jī)制概述 69
5.2 注意力模塊 70
5.2.1 注意力模塊結(jié)構(gòu) 70
5.2.2 模塊訓(xùn)練與評估 71
5.2.3 注意力模塊相關(guān)術(shù)語 71
5.3 傳統(tǒng)注意力模塊應(yīng)用 72
5.4 注意力編碼機(jī)制模塊應(yīng)用 73
5.4.1 單一向量編碼 74
5.4.2 不同序列間的編碼 75
5.4.3 同一序列間的編碼 76
5.5 本章小結(jié) 77
參考文獻(xiàn) 77
第6章 自然語言處理基本任務(wù) 78
6.1 文本分類 78
6.1.1 文本分類任務(wù)概述 78
6.1.2 神經(jīng)網(wǎng)絡(luò)文本分類方法 78
6.1.3 文本分類評估指標(biāo) 81
6.2 文本匹配 83
6.2.1 文本匹配任務(wù)概述 83
6.2.2 文本匹配方法 83
6.3 序列標(biāo)注 84
6.3.1 序列標(biāo)注任務(wù)概述 84
6.3.2 神經(jīng)網(wǎng)絡(luò)序列標(biāo)注方法 85
6.3.3 典型神經(jīng)網(wǎng)絡(luò)序列標(biāo)注模型 86
6.4 序列生成 88
6.4.1 序列生成任務(wù)定義 88
6.4.2 序列生成模型 88
6.4.3 生成式解碼模型 89
6.4.4 選擇式解碼模型 97
6.4.5 選擇-生成混合解碼模型 98
6.4.6 序列生成模型評估指標(biāo) 100
6.5 本章小結(jié) 101
參考文獻(xiàn) 101
第7章 預(yù)訓(xùn)練語言模型 102
7.1 預(yù)訓(xùn)練語言模型概述 102
7.1.1 預(yù)訓(xùn)練語言模型基本思想 102
7.1.2 預(yù)訓(xùn)練語言模型發(fā)展歷程 103
7.2 預(yù)訓(xùn)練語言模型+精調(diào)階段（第三范式） 104
7.2.1 編碼器結(jié)構(gòu)：BERT 104
7.2.2 解碼器結(jié)構(gòu)：GPT-1 106
7.2.3 編碼-解碼器結(jié)構(gòu)：BART 107
7.3 預(yù)訓(xùn)練語言模型+提示工程階段（第四范式） 108
7.3.1 提示學(xué)習(xí) 109
7.3.2 答案工程 110
7.3.3 提示微調(diào)策略 111
7.4 大語言模型+提示工程階段（第五范式） 111
7.4.1 第一代大語言模型：快回答 112
7.4.2 第二代大語言模型：慢思考 121
7.5 國產(chǎn)大語言模型杰出代表：DeepSeek-R1 127
7.5.1 DeepSeek-V系列語言模型 128
7.5.2 DeepSeek-R系列推理模型 129
7.6 本章小結(jié) 133
參考文獻(xiàn) 133
第8章 機(jī)器翻譯 136
8.1 深度學(xué)習(xí)機(jī)器翻譯概述 136
8.2 典型神經(jīng)機(jī)器翻譯模型 137
8.2.1 RNN編碼-解碼模型 137
8.2.2 基于注意力機(jī)制的RNN 編碼-解碼模型 137
8.2.3 谷歌神經(jīng)機(jī)器翻譯系統(tǒng) 138
8.2.4 卷積編碼-解碼模型 138
8.2.5 Transformer模型 139
8.3 神經(jīng)機(jī)器翻譯解碼策略改進(jìn) 140
8.3.1 推敲網(wǎng)絡(luò) 140
8.3.2 非自回歸機(jī)器翻譯模型 142
8.3.3 基于隱變量的非自回歸模型 142
8.4 神經(jīng)機(jī)器翻譯系統(tǒng)需要考慮的問題 143
8.4.1 詞表受限問題 144
8.4.2 翻譯覆蓋率問題 144
8.4.3 系統(tǒng)魯棒性問題 145
8.5 低資源神經(jīng)機(jī)器翻譯 146
8.5.1 少量雙語語料和大量單語語料 146
8.5.2 無雙語語料只有單語語料 147
8.6 多語言預(yù)訓(xùn)練語言模型 148
8.6.1 XLM 148
8.6.2 mBART 148
8.7 本章小結(jié) 149
參考文獻(xiàn) 149
第9章 情感分析 151
9.1 情感分析概述 151
9.2 情感極性分類 152
9.2.1 任務(wù)定義 152
9.2.2 任務(wù)框架 152
9.2.3 技術(shù)路線 153
9.3 屬性情感分析 154
9.3.1 任務(wù)定義 154
9.3.2 技術(shù)路線 154
9.4 本章小結(jié) 157
參考文獻(xiàn) 157
第10章 信息抽取 159
10.1 信息抽取概述 159
10.1.1 基本概念 159
10.1.2 發(fā)展歷史 159
10.1.3 任務(wù)定義 160
10.2 命名實(shí)體識別 160
10.2.1 相關(guān)概念 160
10.2.2 簡單命名實(shí)體識別 161
10.2.3 復(fù)雜命名實(shí)體識別 162
10.3 關(guān)系抽取 164
10.3.1 任務(wù)定義 164
10.3.2 主要方法 164
10.4 事件抽取 166
10.4.1 任務(wù)定義 167
10.4.2 任務(wù)實(shí)現(xiàn)步驟 167
10.4.3 任務(wù)實(shí)現(xiàn)方法 167
10.4.3 評估 171
10.5 本章小結(jié) 172
參考文獻(xiàn) 172
第11章 機(jī)器閱讀理解 173
11.1 機(jī)器閱讀理解概述 173
11.2 任務(wù)定義 174
11.3 神經(jīng)機(jī)器閱讀理解模型框架 174
11.4 神經(jīng)機(jī)器閱讀理解各類任務(wù)及典型模型 176
11.4.1 完形填空式機(jī)器閱讀理解任務(wù) 176
11.4.2 多項選擇式機(jī)器閱讀理解任務(wù) 177
11.4.3 片段抽取式機(jī)器閱讀理解任務(wù) 178
11.4.4 自由生成式機(jī)器閱讀理解任務(wù) 180
11.5 機(jī)器閱讀理解的主要挑戰(zhàn)與開放性問題 182
11.5.1 機(jī)器閱讀理解的可解釋性 182
11.5.2 機(jī)器閱讀理解的魯棒性 182
11.5.3 機(jī)器閱讀理解的長文章理解能力 182
11.5.4 機(jī)器閱讀理解的輸入文本受限 183
11.5.5 機(jī)器閱讀理解的推理能力 183
11.5.6 機(jī)器閱讀理解的已知知識利用 183
11.5.7 機(jī)器閱讀理解的自主利用無標(biāo)注資源 184
11.5.8 機(jī)器閱讀理解的遷移能力 184
11.6 本章小結(jié) 184
參考文獻(xiàn) 184
第12章 對話系統(tǒng) 187
12.1 對話系統(tǒng)概述 187
12.1.1 背景 187
12.1.2 對話系統(tǒng)的特點(diǎn)與分類 187
12.2 開放領(lǐng)域?qū)υ?187
12.2.1 基于檢索的開放領(lǐng)域?qū)υ捪到y(tǒng) 188
12.2.2 基于生成的開放領(lǐng)域?qū)υ捪到y(tǒng) 188
12.2.3 檢索-生成融合的開放領(lǐng)域?qū)υ捪到y(tǒng) 189
12.2.4 開放領(lǐng)域?qū)υ捪到y(tǒng)中的關(guān)鍵問題 189
12.3 任務(wù)型對話 192
12.3.1 基于管道結(jié)構(gòu)的任務(wù)型對話系統(tǒng) 192
12.3.2 基于端到端的任務(wù)型對話系統(tǒng) 194
12.3.3 任務(wù)型對話系統(tǒng)發(fā)展趨勢 196
12.4 本章小結(jié) 197
參考文獻(xiàn) 197