自然語(yǔ)言處理被譽(yù)為“人工智能皇冠上的明珠”。深度學(xué)習(xí)等技術(shù)的引入為自然語(yǔ)言處理技術(shù)帶來(lái)了一場(chǎng)革命，尤其是近年來(lái)出現(xiàn)的基于大語(yǔ)言模型的方法，已成為研究自然語(yǔ)言處理的新范式。本書(shū)在介紹自然語(yǔ)言處理、深度學(xué)習(xí)等基本概念的基礎(chǔ)上，重點(diǎn)介紹新的基于預(yù)訓(xùn)練語(yǔ)言模型和大語(yǔ)言模型的自然語(yǔ)言處理技術(shù)。本書(shū)包括基礎(chǔ)知識(shí)、預(yù)訓(xùn)練語(yǔ)言模型和大語(yǔ)言模型三部分：基礎(chǔ)知識(shí)部分主要介紹自然語(yǔ)言處理和深度學(xué)習(xí)的基礎(chǔ)知識(shí)、基本工具集和常用數(shù)據(jù)集；預(yù)訓(xùn)練語(yǔ)言模型部分主要介紹語(yǔ)言模型、預(yù)訓(xùn)練詞向量、預(yù)訓(xùn)練語(yǔ)言模型的實(shí)現(xiàn)方法和應(yīng)用；大語(yǔ)言模型部分首先介紹大語(yǔ)言模型的預(yù)訓(xùn)練方法，其次介紹大語(yǔ)言模型的適配、應(yīng)用和評(píng)估方法，最后介紹基于預(yù)訓(xùn)練語(yǔ)言模型思想的各種延伸技術(shù)。除了理論知識(shí)，本書(shū)還有針對(duì)性地結(jié)合具體案例提供相應(yīng)的PyTorch代碼實(shí)現(xiàn)，讓讀者不僅能對(duì)理論有更深刻的理解，還能快速地實(shí)現(xiàn)自然語(yǔ)言處理模型，達(dá)到理論和實(shí)踐的統(tǒng)一。