久久女人天堂,999精品国产乱码在线观看

深度學(xué)習(xí)是人工智能中的核心問(wèn)題之一，本書(shū)較系統(tǒng)地介紹了深度學(xué)習(xí)的基本內(nèi)容，共15章，分別為概述、前饋神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度殘差神經(jīng)網(wǎng)絡(luò)、Transformer模型、生成對(duì)抗網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、膠囊神經(jīng)網(wǎng)絡(luò)、自編碼器、強(qiáng)化學(xué)習(xí)、脈沖神經(jīng)網(wǎng)絡(luò)、遷移學(xué)習(xí)、元學(xué)習(xí)和大語(yǔ)言模型。
本書(shū)注重基本概念、基本方法、基本模型和基本應(yīng)用的介紹，并通過(guò)應(yīng)用實(shí)例來(lái)說(shuō)明深度學(xué)習(xí)模型與算法，語(yǔ)言精練，邏輯層次清晰，內(nèi)容先進(jìn)實(shí)用，可以作為大學(xué)深度學(xué)習(xí)課程的教材，也可以作為應(yīng)用深度學(xué)習(xí)的科技人員的參考書(shū)。

深度學(xué)習(xí)由著名計(jì)算機(jī)科學(xué)家Geoffrey Hinton等在2006年提出，是基于機(jī)器學(xué)習(xí)延伸出來(lái)的一個(gè)新領(lǐng)域。它是以神經(jīng)網(wǎng)絡(luò)算法為起源，伴隨大數(shù)據(jù)的出現(xiàn)和計(jì)算機(jī)算力的提升而產(chǎn)生的一系列新的模型與算法。深度學(xué)習(xí)已成功應(yīng)用在自然語(yǔ)言處理、語(yǔ)音識(shí)別、圖像處理與計(jì)算機(jī)視覺(jué)等領(lǐng)域，并在研究與應(yīng)用上取得了突破性的進(jìn)展。
人工神經(jīng)網(wǎng)絡(luò)是基于生理學(xué)的仿真模型，它通過(guò)調(diào)整其內(nèi)部大量節(jié)點(diǎn)之間的相互連接來(lái)達(dá)到信息處理的目的，并具有自學(xué)習(xí)和自適應(yīng)的能力，是連接主義學(xué)派的典型代表。
深度學(xué)習(xí)的出現(xiàn)基本上解決了一對(duì)一映射的問(wèn)題，因此出現(xiàn)了AlexNet里程碑式的研究成果。但是，單一的深度學(xué)習(xí)不能解決序列決策問(wèn)題，強(qiáng)化學(xué)習(xí)的出現(xiàn)使序列決策問(wèn)題的解決取得了新的進(jìn)展。
深度學(xué)習(xí)利用深度神經(jīng)網(wǎng)絡(luò)特有的感知能力對(duì)目標(biāo)的特征進(jìn)行提取與識(shí)別，其卷積核等同于濾波器，從而完成對(duì)物體的分類(lèi)和檢測(cè)等。深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)融合產(chǎn)生了深度強(qiáng)化學(xué)習(xí)。深度強(qiáng)化學(xué)習(xí)結(jié)合了深度學(xué)習(xí)的感知能力和強(qiáng)化學(xué)習(xí)的決策能力，克服了強(qiáng)化學(xué)習(xí)只適用于狀態(tài)為離散而且低維的缺陷，可直接從高維原始數(shù)據(jù)學(xué)習(xí)控制策略。但是，深度強(qiáng)化學(xué)習(xí)過(guò)度依賴(lài)巨量的訓(xùn)練，并且需要精確的獎(jiǎng)賞。然而對(duì)于現(xiàn)實(shí)世界的很多問(wèn)題，并沒(méi)有好的獎(jiǎng)賞，也沒(méi)辦法無(wú)限量訓(xùn)練，而是需要快速學(xué)習(xí)的方法。
為了降低深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練所需的數(shù)據(jù)量，引入了遷移學(xué)習(xí)的思想，從而誕生了深度遷移學(xué)習(xí)技術(shù)。深度遷移學(xué)習(xí)是指利用數(shù)據(jù)、任務(wù)或模型之間的相似性，將在源領(lǐng)域?qū)W習(xí)過(guò)的模型，應(yīng)用于新領(lǐng)域的一種學(xué)習(xí)過(guò)程。通過(guò)將訓(xùn)練好的模型遷移到類(lèi)似場(chǎng)景，實(shí)現(xiàn)只需少量的訓(xùn)練數(shù)據(jù)就可以達(dá)到較好的效果。
元學(xué)習(xí)是學(xué)習(xí)的學(xué)習(xí)，深度元學(xué)習(xí)面向的不是學(xué)習(xí)的結(jié)果，而是學(xué)習(xí)的過(guò)程。其學(xué)習(xí)的不是一個(gè)直接用于預(yù)測(cè)的模型，而是學(xué)習(xí)如何更快更好地學(xué)習(xí)一個(gè)模型。在模型比較中，一個(gè)良好的模型能夠很好地適應(yīng)或推廣到在訓(xùn)練期間從未遇到過(guò)的新任務(wù)和新環(huán)境，這就是元學(xué)習(xí)也稱(chēng)為學(xué)習(xí)的學(xué)習(xí)的原因。
正在發(fā)展中的脈沖神經(jīng)網(wǎng)絡(luò)是源于生物啟發(fā)的新一代人工神經(jīng)網(wǎng)絡(luò)模型，屬于深度學(xué)習(xí)的子集，且具有較強(qiáng)的生物基礎(chǔ)支撐。脈沖神經(jīng)網(wǎng)絡(luò)中的動(dòng)態(tài)神經(jīng)元不是在每一次迭代傳播中都被激活，而是在它的膜電位達(dá)到某一個(gè)特定值時(shí)被激活。當(dāng)一個(gè)神經(jīng)元被激活時(shí)，它將產(chǎn)生一個(gè)信號(hào)傳遞給其他神經(jīng)元，同時(shí)提高或降低自身的膜電位。眾多學(xué)者對(duì)深度學(xué)習(xí)的發(fā)展做出了卓越的貢獻(xiàn)，他們研發(fā)出了卷積神經(jīng)網(wǎng)絡(luò)、Transformer模型和深度信念網(wǎng)絡(luò)等優(yōu)秀模型，這些模型的出現(xiàn)推動(dòng)了深度學(xué)習(xí)的發(fā)展。由于篇幅所限，本書(shū)僅介紹主要的深度神經(jīng)網(wǎng)絡(luò)模型。
大語(yǔ)言模型可以處理多種自然語(yǔ)言任務(wù)，如文本分類(lèi)、問(wèn)答、翻譯等，是通向人工智能的重要途徑之一。本書(shū)第15章簡(jiǎn)要介紹了大語(yǔ)言模型的結(jié)構(gòu)與應(yīng)用。
本書(shū)從教材角度構(gòu)建了內(nèi)容與體例。全書(shū)共15章，分別為概述、前饋神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度殘差神經(jīng)網(wǎng)絡(luò)、Transformer模型、生成對(duì)抗網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、膠囊神經(jīng)網(wǎng)絡(luò)、自編碼器、強(qiáng)化學(xué)習(xí)、脈沖神經(jīng)網(wǎng)絡(luò)、遷移學(xué)習(xí)、元學(xué)習(xí)和大語(yǔ)言模型。本書(shū)注重基本概念、基本方法、基本模型和基本應(yīng)用的介紹。如果需要更深入地學(xué)習(xí)與了解深度學(xué)習(xí)，可以參考更深入、更全面的有關(guān)文獻(xiàn)。
本書(shū)在結(jié)構(gòu)上呈積木狀，各章內(nèi)容獨(dú)立論述。由于作者水平有限，書(shū)中不足之處在所難免，敬請(qǐng)讀者批評(píng)指正。

2025年2月

第1章概述/1
1.1深度學(xué)習(xí)的發(fā)展過(guò)程2
1.1.1深度學(xué)習(xí)的起源2
1.1.2深度學(xué)習(xí)的發(fā)展3
1.1.3深度學(xué)習(xí)的爆發(fā)3
1.2機(jī)器學(xué)習(xí)基礎(chǔ)4
1.2.1機(jī)器學(xué)習(xí)方式5
1.2.2機(jī)器學(xué)習(xí)的主要流派與演化過(guò)程9
1.2.3泛化能力與增強(qiáng)方法10
1.2.4模型性能評(píng)價(jià)指標(biāo)13
1.2.5相似性度量與誤差計(jì)算15
1.3神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)21
1.3.1神經(jīng)網(wǎng)絡(luò)模型及特點(diǎn)21
1.3.2學(xué)習(xí)方式與學(xué)習(xí)規(guī)則26
1.3.3深度學(xué)習(xí)模型34
1.4計(jì)算圖38
1.4.1計(jì)算圖的基本組成部分38
1.4.2構(gòu)建計(jì)算圖的過(guò)程38
1.4.3計(jì)算圖的優(yōu)勢(shì)39
本章小結(jié)39
第2章前饋神經(jīng)網(wǎng)絡(luò)/40
2.1分類(lèi)模型40
2.1.1分類(lèi)系統(tǒng)40
2.1.2判別函數(shù)41
2.1.3線性不可分的分類(lèi)42
2.2感知機(jī)43
2.2.1離散感知機(jī)43
2.2.2連續(xù)感知機(jī)45
2.3BP神經(jīng)網(wǎng)絡(luò)47
2.3.1多層感知機(jī)結(jié)構(gòu)47
2.3.2誤差反向傳播算法48
2.3.3Dropout方法53
2.3.4回歸神經(jīng)網(wǎng)絡(luò)53
本章小結(jié)55
第3章卷積神經(jīng)網(wǎng)絡(luò)/57
3.1卷積神經(jīng)網(wǎng)絡(luò)的產(chǎn)生57
3.1.1問(wèn)題的提出58
3.1.2卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)58
3.2卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)59
3.2.1CNN的系統(tǒng)結(jié)構(gòu)60
3.2.2輸入層60
3.2.3卷積層62
3.2.4池化層68
3.2.5輸出層69
3.3卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練71
3.3.1CNN的訓(xùn)練過(guò)程71
3.3.2CNN的正向傳播過(guò)程72
3.3.3CNN的反向傳播過(guò)程72
3.3.4CNN的權(quán)值更新73
3.4逆卷積神經(jīng)網(wǎng)絡(luò)75
3.4.1逆池化與逆卷積76
3.4.2逆池化運(yùn)算76
3.4.3逆卷積運(yùn)算77
3.5卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用79
3.5.1CNN應(yīng)用特點(diǎn)79
3.5.2CNN的應(yīng)用領(lǐng)域80
本章小結(jié)80
第4章循環(huán)神經(jīng)網(wǎng)絡(luò)/81
4.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述81
4.1.1循環(huán)神經(jīng)網(wǎng)絡(luò)原理82
4.1.2循環(huán)神經(jīng)網(wǎng)絡(luò)的記憶能力82
4.2循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)83
4.2.1埃爾曼神經(jīng)網(wǎng)絡(luò)83
4.2.2單向循環(huán)神經(jīng)網(wǎng)絡(luò)83
4.2.3雙向循環(huán)神經(jīng)網(wǎng)絡(luò)87
4.2.4BPTT算法88
4.2.5堆疊循環(huán)神經(jīng)網(wǎng)絡(luò)91
4.3RNN的I/O模式91
4.3.1序列到類(lèi)別模式91
4.3.2同步的序列到序列模式92
4.3.3異步的序列到序列模式92
4.4長(zhǎng)短期記憶模型93
4.4.1RNN的記憶能力與長(zhǎng)期依賴(lài)93
4.4.2LSTM結(jié)構(gòu)94
4.4.3模型參數(shù)的調(diào)節(jié)方法96
4.5基于RNN的語(yǔ)言模型97
4.5.1文本處理的編碼解碼框架97
4.5.2注意力模型98
4.5.3BiRNN注意力模型102
4.5.4詞嵌入與詞嵌入算法102
本章小結(jié)108
第5章深度殘差神經(jīng)網(wǎng)絡(luò)/109
5.1深度殘差神經(jīng)網(wǎng)絡(luò)基礎(chǔ)109
5.1.1逐層歸一化109
5.1.2殘差與殘差分析111
5.1.3深度殘差網(wǎng)絡(luò)的提出112
5.2殘差模塊112
5.2.1殘差模塊的結(jié)構(gòu)112
5.2.2殘差模塊的類(lèi)型114
5.2.3殘差模塊的優(yōu)勢(shì)116
5.3ResNet模型117
5.3.1ResNet結(jié)構(gòu)117
5.3.2ResNet參數(shù)解析118
5.4DenseNet網(wǎng)絡(luò)121
5.4.1DenseNet網(wǎng)絡(luò)結(jié)構(gòu)121
5.4.2DenseNet與ResNet的比較122
5.5深度殘差收縮網(wǎng)絡(luò)123
5.5.1深度殘差收縮網(wǎng)絡(luò)的結(jié)構(gòu)124
5.5.2軟閾值化124
5.5.3深度殘差收縮網(wǎng)絡(luò)的殘差模塊125
本章小結(jié)125
第6章Transformer模型/127
6.1Transformer模型的特點(diǎn)與自注意力機(jī)制127
6.1.1Transformer模型的特點(diǎn)127
6.1.2自注意力機(jī)制128
6.1.3多頭注意力機(jī)制134
6.2Transformer模型結(jié)構(gòu)138
6.2.1Transformer模型總體架構(gòu)138
6.2.2位置向量139
6.2.3編碼器塊140
6.2.4解碼器塊142
6.3Transformer模型的工作過(guò)程與訓(xùn)練147
6.3.1Transformer模型的工作過(guò)程147
6.3.2Transformer模型的訓(xùn)練153
6.3.3Transformer模型的并行訓(xùn)練與測(cè)試155
本章小結(jié)157
第7章生成對(duì)抗網(wǎng)絡(luò)/158
7.1GAN概述158
7.1.1GAN的產(chǎn)生背景158
7.1.2GAN的基本原理159
7.2GAN算法流程160
7.2.1GAN工作過(guò)程160
7.2.2GAN結(jié)構(gòu)162
7.3GAN訓(xùn)練163
7.3.1GAN訓(xùn)練特點(diǎn)163
7.3.2GAN訓(xùn)練過(guò)程163
7.3.3損失函數(shù)164
7.3.4GAN優(yōu)化166
7.3.5條件生成對(duì)抗網(wǎng)絡(luò)168
7.4多種形式的GAN168
7.4.1多判別器單生成器模型168
7.4.2單判別器多生成器模型169
7.4.3多判別器多生成器模型169
7.5GAN的優(yōu)點(diǎn)和應(yīng)用場(chǎng)景170
7.5.1GAN的優(yōu)點(diǎn)170
7.5.2GAN的應(yīng)用場(chǎng)景170
本章小結(jié)172
第8章深度信念網(wǎng)絡(luò)/173
8.1DBN的產(chǎn)生與發(fā)展173
8.1.1DBN的產(chǎn)生173
8.1.2DBN的發(fā)展173
8.2玻爾茲曼機(jī)與受限玻爾茲曼機(jī)174
8.2.1玻爾茲曼機(jī)174
8.2.2受限玻爾茲曼機(jī)177
8.2.3受限玻爾茲曼機(jī)訓(xùn)練181
8.3DBN的結(jié)構(gòu)與訓(xùn)練183
8.3.1DBN的結(jié)構(gòu)183
8.3.2DBN的訓(xùn)練184
本章小結(jié)188
第9章膠囊神經(jīng)網(wǎng)絡(luò)/189
9.1膠囊神經(jīng)網(wǎng)絡(luò)的產(chǎn)生背景189
9.1.1CNN的缺陷189
9.1.2膠囊方法的提出190
9.2膠囊方法原理190
9.2.1膠囊190
9.2.2膠囊工作過(guò)程194
9.3膠囊間動(dòng)態(tài)路由算法196
9.3.1膠囊間動(dòng)態(tài)路由計(jì)算197
9.3.2膠囊間動(dòng)態(tài)路由算法的描述198
9.4膠囊神經(jīng)網(wǎng)絡(luò)架構(gòu)舉例204
9.4.1手寫(xiě)數(shù)字識(shí)別的簡(jiǎn)單膠囊網(wǎng)絡(luò)架構(gòu)204
9.4.2CapsNet膠囊神經(jīng)網(wǎng)絡(luò)架構(gòu)205
本章小結(jié)208
第10章自編碼器/209
10.1自編碼器概述209
10.1.1表征學(xué)習(xí)209
10.1.2自編碼器工作原理210
10.2常用自編碼器212
10.2.1欠完備的自編碼器213
10.2.2稀疏自編碼器214
10.2.3棧式自編碼器215
10.2.4去噪自編碼器219
10.2.5變分自編碼器221
10.3深度自編碼器224
10.3.1基于多層BP網(wǎng)絡(luò)的深度自編碼器224
10.3.2基于CNN的深度自編碼器225
10.4深度自編碼器應(yīng)用226
10.4.1主要應(yīng)用場(chǎng)景226
10.4.2典型應(yīng)用226
本章小結(jié)227
第11章強(qiáng)化學(xué)習(xí)/228
11.1強(qiáng)化學(xué)習(xí)原理229
11.1.1智能體及其特性229
11.1.2RL模型與工作過(guò)程230
11.1.3RL算法分類(lèi)232
11.2SARSA算法234
11.2.1SARSA算法基本原理234
11.2.2SARSA算法流程236
11.2.3SARSA(λ)算法238
11.3QLearning算法240
11.3.1QLearning算法基本原理240
11.3.2QLearning算法流程242
11.3.3QLearning算法與SARSA算法的比較243
11.4策略梯度算法244
11.4.1基于價(jià)值的RL算法的局限性244
11.4.2基于策略的算法244
11.4.3蒙特卡洛策略梯度過(guò)程244
11.5ActorCritic算法245
11.5.1ActorCritic算法的基本原理245
11.5.2ActorCritic算法流程246
11.6強(qiáng)化學(xué)習(xí)算法247
11.6.1深度Q網(wǎng)絡(luò)算法247
11.6.2深度確定性策略梯度算法248
11.7RL的應(yīng)用249
11.7.1RL應(yīng)用的方法249
11.7.2RL應(yīng)用的流程250
11.7.3RL應(yīng)用的領(lǐng)域250
本章小結(jié)251
第12章脈沖神經(jīng)網(wǎng)絡(luò)/252
12.1脈沖神經(jīng)元252
12.1.1類(lèi)腦計(jì)算252
12.1.2SNN與脈沖神經(jīng)元253
12.1.3SNN的特點(diǎn)257
12.2SNN的結(jié)構(gòu)與編碼258
12.2.1SNN的結(jié)構(gòu)258
12.2.2信號(hào)轉(zhuǎn)換259
12.3SNN數(shù)據(jù)集與工作負(fù)載261
12.3.1ANN數(shù)據(jù)集與SNN數(shù)據(jù)集261
12.3.2工作負(fù)載262
12.3.3SNN評(píng)價(jià)263
12.4SNN的訓(xùn)練264
12.4.1SNN的無(wú)監(jiān)督學(xué)習(xí)264
12.4.2SNN的監(jiān)督學(xué)習(xí)267
12.4.3SNN的強(qiáng)化學(xué)習(xí)與進(jìn)化方法269
本章小結(jié)270
第13章遷移學(xué)習(xí)/271
13.1遷移學(xué)習(xí)概述271
13.1.1同分布數(shù)據(jù)271
13.1.2遷移學(xué)習(xí)原理273
13.2遷移學(xué)習(xí)分類(lèi)與實(shí)現(xiàn)275
13.2.1遷移學(xué)習(xí)分類(lèi)準(zhǔn)則275
13.2.2典型的遷移學(xué)習(xí)277
13.2.3遷移學(xué)習(xí)的實(shí)現(xiàn)280
13.3深度遷移學(xué)習(xí)281
13.3.1深度網(wǎng)絡(luò)的可遷移性281
13.3.2深度遷移學(xué)習(xí)的自適應(yīng)方法285
13.3.3生成對(duì)抗遷移網(wǎng)絡(luò)289
13.4遷移學(xué)習(xí)的應(yīng)用場(chǎng)景與方法291
13.4.1遷移學(xué)習(xí)的應(yīng)用場(chǎng)景292
13.4.2遷移學(xué)習(xí)的方法292
本章小結(jié)293
第14章元學(xué)習(xí)/294
14.1元學(xué)習(xí)概述294
14.1.1元學(xué)習(xí)的基本原理294
14.1.2元學(xué)習(xí)的基本特點(diǎn)295
14.2元學(xué)習(xí)方法297
14.2.1元學(xué)習(xí)的主要工作297
14.2.2元學(xué)習(xí)的過(guò)程300
14.3MAML模型302
14.3.1MAML的相關(guān)概念302
14.3.2MAML算法分析304
14.3.3MAML算法流程305
14.4小樣本學(xué)習(xí)307
14.4.1問(wèn)題的提出與先驗(yàn)范式的構(gòu)建307
14.4.2小樣本學(xué)習(xí)方法308
14.4.3小樣本相似度學(xué)習(xí)311
本章小結(jié)314
第15章大語(yǔ)言模型/315
15.1大語(yǔ)言模型的產(chǎn)生與發(fā)展315
15.1.1語(yǔ)言模型的發(fā)展315
15.1.2語(yǔ)言模型的分類(lèi)320
15.1.3大語(yǔ)言模型的特性與技術(shù)突破320
15.2預(yù)訓(xùn)練語(yǔ)言模型322
15.2.1常見(jiàn)的預(yù)訓(xùn)練語(yǔ)言模型322
15.2.2預(yù)訓(xùn)練模型的訓(xùn)練325
15.2.3預(yù)訓(xùn)練語(yǔ)言模型架構(gòu)331
15.3大語(yǔ)言模型類(lèi)型與涌現(xiàn)能力335
15.3.1靜態(tài)詞向量與動(dòng)態(tài)詞向量335
15.3.2大語(yǔ)言模型類(lèi)型劃分336
15.3.3大語(yǔ)言模型的擴(kuò)展法則與涌現(xiàn)能力337
15.4GPT大語(yǔ)言模型341
15.4.1GPT大語(yǔ)言模型結(jié)構(gòu)與訓(xùn)練過(guò)程341
15.4.2ChatGPT的功能與特性347
15.4.3稀疏注意力模式350
15.4.4人類(lèi)反饋強(qiáng)化學(xué)習(xí)352
15.4.5近端策略?xún)?yōu)化算法355
15.4.6提示詞工程359
15.5DeepSeek大語(yǔ)言模型365
15.5.1DeepSeek定位365
15.5.2DeepSeek核心技術(shù)365
15.5.3DeepSeek訓(xùn)練與部署366
15.5.4DeepSeek行業(yè)應(yīng)用367
本章小結(jié)367
參考文獻(xiàn)/368

你還可能感興趣

我要評(píng)論