本書簡潔且全面地介紹了現(xiàn)代神經(jīng)網(wǎng)絡(luò)、人工智能和深度學(xué)習(xí)技術(shù)，專門為軟件工程師和數(shù)據(jù)科學(xué)家設(shè)計。它是另外兩本著作Deep Learning with Keras[1]和TensorFlow 1.x Deep Learning Cookbook[2]的延續(xù)。
本書目標(biāo)
本書對過去幾年中深度學(xué)習(xí)技術(shù)的演進做了概括，并給出了用Python寫的數(shù)十種可運行的深度神經(jīng)網(wǎng)絡(luò)代碼，它們都是用基于類Keras[1] API的模塊化深度網(wǎng)絡(luò)庫TensorFlow 2.0實現(xiàn)的。
本書將循序漸進地介紹有監(jiān)督學(xué)習(xí)算法，包括簡單線性回歸、經(jīng)典多層感知器，以及更為復(fù)雜的深度卷積網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)。本書還涵蓋無監(jiān)督學(xué)習(xí)算法，包括自編碼器和生成網(wǎng)絡(luò)，并對循環(huán)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)進行詳細解釋。此外，本書還會對深度強化學(xué)習(xí)進行全面介紹，并涵蓋深度學(xué)習(xí)加速器（GPU和TPU）、云開發(fā)以及在桌面系統(tǒng)、云服務(wù)、移動設(shè)備/物聯(lián)網(wǎng)（IoT）和瀏覽器上的多環(huán)境部署。
實際應(yīng)用包括將文本分類為預(yù)定義類別、語法分析、語義分析、文本合成以及詞性標(biāo)注。書中我們還會探討圖像處理，包括手寫數(shù)字圖像識別、圖像分類以及具有相關(guān)圖像注釋的高級對象識別。
聲音分析包括識別來自多個揚聲器的離散語音。本書還介紹使用自編碼器和GAN生成圖像，使用強化學(xué)習(xí)技術(shù)構(gòu)建能夠自主學(xué)習(xí)的深度Q學(xué)習(xí)網(wǎng)絡(luò)。實驗是本書的精髓。每個網(wǎng)絡(luò)都增加了多種變體，這些變體通過更改輸入?yún)��?shù)、網(wǎng)絡(luò)形狀、損失函數(shù)和優(yōu)化算法來逐步提高學(xué)習(xí)性能。本書還提供在CPU、GPU和TPU上進行訓(xùn)練的對比。本書將介紹新領(lǐng)域AutoML，在該領(lǐng)域中，我們將學(xué)習(xí)如何高效和自動地構(gòu)建深度學(xué)習(xí)模型。第15章專門介紹機器學(xué)習(xí)相關(guān)的數(shù)學(xué)知識。
機器學(xué)習(xí)、人工智能和深度學(xué)習(xí)寒武紀(jì)爆炸
人工智能（Artificial Intelligence，AI）為本書討論的所有內(nèi)容奠定了基礎(chǔ)。機器學(xué)習(xí)（Machine Learning，ML）是AI的一個分支，而深度學(xué)習(xí)（Deep Learning，DL）又是ML中的一個子集。下面簡要討論本書中經(jīng)常出現(xiàn)的這三個概念。
AI表示機器模仿人類通常表現(xiàn)出的智能行為的任何活動。更正式地說，這是一個研究領(lǐng)域，機器旨在復(fù)制認知能力，例如學(xué)習(xí)行為、與環(huán)境的主動交互、推理和演繹、計算機視覺、語音識別、問題求解、知識表示和感知。AI建立在計算機科學(xué)、數(shù)學(xué)和統(tǒng)計學(xué)以及心理學(xué)和其他研究人類行為的科學(xué)的基礎(chǔ)上。建立AI有多種策略。在20世紀(jì)70年代和20世紀(jì)80年代，專家系統(tǒng)變得非常流行。這些系統(tǒng)的目標(biāo)是通過用大量手動定義的if-then規(guī)則表示知識來解決復(fù)雜的問題。這種方法適用于非常特定的領(lǐng)域中的小問題，但無法擴展到較大的問題和多領(lǐng)域中。后來，AI越來越關(guān)注基于統(tǒng)計的方法。
ML是AI的一個子學(xué)科，它專注于教授計算機如何對特定任務(wù)進行學(xué)習(xí)而無須編程。ML背后的關(guān)鍵思想是可以創(chuàng)建從數(shù)據(jù)中學(xué)習(xí)并做出預(yù)測的算法。ML有三類：
有監(jiān)督學(xué)習(xí)，向機器提供輸入數(shù)據(jù)及期望輸出，目的是從這些訓(xùn)練實例中學(xué)習(xí)，以使機器可以對從未見過的數(shù)據(jù)做出有意義的預(yù)測。
無監(jiān)督學(xué)習(xí)，僅向機器提供輸入數(shù)據(jù)，機器隨后必須自己尋找一些有意義的結(jié)構(gòu)，而無須外部監(jiān)督或輸入。
增強學(xué)習(xí)，機器充當(dāng)代理，與環(huán)境交互。如果機器的行為符合要求，就會有獎勵；否則，就會受到懲罰。機器試圖通過學(xué)習(xí)相應(yīng)地發(fā)展其行為來化獎勵。
DL在2012年席卷全球。在那一年，ImageNet 2012挑戰(zhàn)賽[3]發(fā)起，其目的是使用大型手工標(biāo)記數(shù)據(jù)集的子集來預(yù)測照片的內(nèi)容。名為AlexNet[4]的深度學(xué)習(xí)模型達到了15.3%的top-5錯誤率，這與早前的結(jié)果相比有了顯著改進。根據(jù)《經(jīng)濟學(xué)人》 [5]的說法，突然之間，人們開始關(guān)注深度學(xué)習(xí)，不僅是在AI社區(qū)內(nèi)部，而且是整個技術(shù)行業(yè)。 自2012年以來，我們看到了對ImageNet圖像進行分類的多個模型的持續(xù)進展[5]（見圖1），錯誤率低于2%，優(yōu)于5.1%的預(yù)計人為錯誤率。
那僅僅是開始。如今，DL技術(shù)已成功應(yīng)用于異構(gòu)領(lǐng)域，包括但不限于醫(yī)療保健、環(huán)境工程、綠色能源、計算機視覺、文本分析、多媒體、金融、零售、游戲、模擬、工業(yè)、機器人技術(shù)和自動駕駛汽車。在每一個領(lǐng)域中，DL技術(shù)都可以以一定的準(zhǔn)確度解決問題，而這是以前的方法無法實現(xiàn)的。
毫無疑問，人們對DL的興趣也在增加。有報告[9]顯示，每20分鐘就會有新的ML論文發(fā)表。機器學(xué)習(xí)論文的增長率約為每月3.5%，每年50%。在過去的三年中，我們好像生活在DL的寒武紀(jì)大爆炸中，arXiv上論文數(shù)量的增長速度超過了摩爾定律（見圖2）。正如評論所說：這使你感到人們相信這是計算的未來價值的來源。

圖1　ImageNet 2012上不同的深度學(xué)習(xí)模型實現(xiàn)的top-5準(zhǔn)確度

圖2　arXiv上ML論文數(shù)量似乎比摩爾定律增長更快（源自：https://www.kdnuggets.com/2018/12/deep-learning-major-advances-review.html）
arXiv是電子預(yù)印本的存儲庫，預(yù)印本尚未進行完整的同行評審。
深度學(xué)習(xí)模型的復(fù)雜性也在增加。ResNet-50是一種圖像識別模型（參見第4章和第5章），具有約2600萬個參數(shù)。每個參數(shù)都是用于微調(diào)模型的權(quán)重。Transformer、gpt-1、bert和gpt-2[7]都是自然語言處理模型（參見第8章），具備在文本上執(zhí)行各種任務(wù)