《PyTorch深度學習與大模型部署及微調》根據大多數軟件公司對AI大模型開發(fā)程序員的標準要求,結合范例程序,針對零基礎人群,講述了從入門到能干活所必需掌握的知識點。
《PyTorch深度學習與大模型部署及微調》內容涵蓋了深度學習各種模型的知識點,包括Python和Pytorch的開發(fā)環(huán)境、神經網絡預測技術、用卷積和殘差神經網絡分類圖片的技術、數據預處理和數據增強、用生成對抗網絡識別圖片的技術、用循環(huán)神經網絡和Transformer 網絡分析文本的技術、用VIT模型分類圖片的技術、人臉識別和目標物體識別的技術、音頻處理技術,以及DeepSeek本地化部署和微調技術等。
《PyTorch深度學習與大模型部署及微調》根據大多數軟件公司對AI大模型開發(fā)程序員的標準要求,結合范例程序,針對零基礎人群,講述了從入門到能干活所必需掌握的知識點。
《PyTorch深度學習與大模型部署及微調》內容涵蓋了深度學習各種模型的知識點,包括Python和Pytorch的開發(fā)環(huán)境、神經網絡預測技術、用卷積和殘差神經網絡分類圖片的技術、數據預處理和數據增強、用生成對抗網絡識別圖片的技術、用循環(huán)神經網絡和Transformer 網絡分析文本的技術、用VIT模型分類圖片的技術、人臉識別和目標物體識別的技術、音頻處理技術,以及DeepSeek本地化部署和微調技術等。
當下深度學習和大模型是一個技術熱點,如果讀者想學習這方面的技能,那么本書是一個不錯的選擇。
從知識體系上來看,本書的內容涵蓋了深度學習各種模型的知識點,包括但不限于搭建Python和Pytorch的開發(fā)環(huán)境、用多層感知機預測數據的技術、用卷積和殘差神經網絡分類圖片的技術、用生成對抗網絡識別圖片的技術、用循環(huán)神經網絡和Transformer網絡分析文本的技術、用ViT模型分類圖片的技術、人臉識別和目標物體識別的技術,以及強化學習和音頻分析等技術。
此外,本書還用專門的一章講述了DeepSeek模型在本地部署和微調的技能點。
本書的作者具有多年Python、AI和大模型的開發(fā)經驗,諳熟AI模型方面高級開發(fā)所需要掌握的知識體系,也非常清楚從零基礎升級到高級開發(fā)人員可能會走的彎路,所以在本書的內容安排上,第一,只講初學者有必要學習的知識點,而不會導致過度學習;第二,并沒有像其他同類書那樣給出復雜的數學公式,而是用通俗的文字講述各種技能;第三,結合具體范例程序講述各知識點,從而能確保讀者學得會并用得上。
本書的全部范例在CPU環(huán)境下也均可運行。本書還附帶一些范例所必需的數據集,而且對于所有范例,筆者都是逐行講述了關鍵要點。所以筆者相信,即使是零基礎的初學者,也能通過本書提供的范例及文字,高效地掌握深度學習的相關技能點。本書的范例程序篇幅適中,通俗易懂,還可作為課程設計或畢業(yè)設計的參考范例。
本書贈送代碼、數據集、PPT和視頻講解,讀者掃描下方二維碼可獲取。
為了讓讀者能高效掌握本書的知識點和范例,筆者在編寫本書時,處處留心、字字斟酌。本書不會出現復雜的數學公式和術語,而是用比較通俗易懂的文字,由淺入深地講述諸多知識點。
由于編者水平有限,書中難免存在缺點和錯誤,殷切希望廣大讀者批評指正。
胡書敏,大連理工大學計算機碩士,有8年Python開發(fā)經驗,資深Python架構師,目前在知名外企從事Python和AI的開發(fā),有平安、花旗和IBM等大廠的工作經驗,同時有約8年的Java技術面試官的經驗。出版過《Python爬蟲、數據分析與可視化:工具詳解與案例實戰(zhàn)》、《基于股票大數據分析的Python入門實戰(zhàn)》等圖書,有大模型搭建、訓練和部署的落地經驗。
金華,上海浦東軟件園股份有限公司培訓中心主任,兼任上海張江信息技術專修學院院長,上海市浦東軟件園職業(yè)技能培訓中心主任,上海市人力資源和社會保障局職業(yè)技能鑒定中心專家組組長,上海市教育委員會職業(yè)教育教學工作診斷與改進專家。長期從事軟件和信息技術專業(yè)職業(yè)標準、培訓課程、鑒定方案等研發(fā)工作。主審中國勞動社會保障出版社《計算機程序設計員(Java)高級》教材,主編上海市經濟和信息化委員會工程師繼續(xù)教育《大數據與數據挖掘》、《移動互聯網》與《大數據可視化技術與應用》等教材。
曹宇,上海城建職業(yè)學院機電工程與信息學院,副教授、工程師、二級技師(計算機程序設計員)。
歷任高級程序員、項目經理、信息技術總監(jiān)、專業(yè)教師、專業(yè)負責人等職務。主導與開發(fā)染整生產管理信息系統(tǒng)、EPC企業(yè)專利信息協同平臺、上海城市管理職業(yè)技術學院教務系統(tǒng)管理平臺、大宗商品信息管理系統(tǒng)等項目。
參與的《上海市信息港建設政策報告》、《上海信息港集約化信息管線發(fā)展研究》分獲上海市決策咨詢類二等獎和三等獎。
指導學生多項獲獎,其中2019上海市星光計劃-網站設計項目獲得一等獎且排名第一。
第1章 神經網絡、深度學習和大模型
1.1?神經網絡和深度學習
1.1.1?神經元和神經網絡
1.1.2?深度神經網絡與深度學習
1.1.3 深度學習的應用場景
1.2 深度學習和大模型
1.3 實現深度學習的Pytorch框架
1.3.1 Pytorch簡介
1.3.2 Pytorch的常用模塊
1.3.3 搭建Python開發(fā)環(huán)境
1.3.4 簡單安裝Pytorch框架
1.4 搭建支持GPU的Pytorch環(huán)境
1.4.1 GPU和CUDA
1.4.2 安裝基于GPU的Pytorch
1.5 小結和預告
第2章 學習張量,搭建神經網絡
2.1 張量的概念和基本操作
2.1.1 標量、向量、矩陣和張量
2.1.2 張量和深度學習的關系
2.1.3 創(chuàng)建張量
2.1.4 張量的常見方法
2.1.5 張量與Numpy數據的相互轉換
2.2 張量的常見運算
2.2.1 張量的索引操作
2.2.2 張量的切片操作
2.2.3 轉換張量的維度
2.2.4 過濾與條件操作
2.3 搭建第一個神經網絡
2.3.1 訓練集、驗證集和測試集
2.3.2 過擬合與欠擬合
2.3.3 損失函數
2.3.4 神經網絡的超參數
2.3.5 搭建神經網絡的定式
2.4 小結和預告
第3章 實戰(zhàn)神經網絡(多層感知機)
3.1 Pytorch自帶的數據集
3.1.1 數據集介紹
3.1.2 下載MNIST數據集
3.1.3 可視化MNIST數據集
3.2 激活函數
3.2.1 引入非線性因素的激活函數
3.2.2 sigmoid激活函數
3.2.3 tanh激活函數
3.2.4 ReLU激活函數
3.3 神經網絡與損失函數
3.3.1 用MNIST訓練,觀察損失值
3.3.2 交叉熵損失函數
3.4 優(yōu)化器與前后向傳播
3.4.1 SGD優(yōu)化器與梯度下降
3.4.2 前向傳播與后向傳播
3.4.3 SGD引入Momentum參數
3.4.4 Adagrad、RMSprop和Adam優(yōu)化器
3.5 用神經網絡作預測
3.6 小結和預告
第4章 用卷積神經網絡識別圖片
4.1 下載并使用CIFAR-10數據集
4.1.1 獲取CIFAR-10數據集
4.1.2 觀察CIFAR-10數據集
4.2 卷積神經網絡概述
4.2.1 二維卷積的計算范例
4.2.2 填充和移動步長
4.2.3 卷積通道數值說明
4.2.4 二維卷積方法及其參數
4.2.5 池化層及池化策略
4.2.6 整體結構及工作流程
4.3 用MNIST訓練卷積神經網絡
4.3.1 搭建模型,觀察訓練結果
4.3.2 觀察模型的結構
4.3.3 用卷積神經網絡預測結果
4.4 用CIFAR-10訓練卷積神經網絡
4.4.1 卷積及池化后的尺寸計算方式
4.4.2 搭建及訓練模型
4.4.3 用模型預測圖片分類
4.5 小結和預告
第5章 實戰(zhàn)殘差神經網絡
5.1 梯度爆炸和梯度消失
5.1.1 可視化觀察梯度下降
5.1.2 后向傳播、梯度消失和梯度爆炸
5.1.3 梯度消失和梯度爆炸的解決方法
5.2 搭建殘差神經網絡
5.2.1 殘差模塊的結構
5.2.2 搭建殘差神經網絡的方法
5.3 殘差神經網絡與圖片分類
5.3.1 識別MNIST手寫數字體
5.3.2 分類CIFAR-10圖片
5.4 小結和預告
第6章 對模型的實用性操作
6.1 可視化模型
6.1.1 用PyTorchViz可視化模型
6.1.2 用TensorboardX可視化模型
6.1.3 用TensorboardX觀察訓練過程
6.2 保存和加載模型
6.2.1 保存模型
6.2.2 加載模型
6.3 數據預處理和數據增強
6.3.1 歸一化處理
6.3.2 圖片的隨機裁剪
6.3.3 圖片的中心裁剪
6.3.4 圖片縮放
6.3.5 水平、垂直與隨機角度翻轉圖片
6.3.6 隨機灰度化
6.3.7 亮度、對比度、飽和度和色度變換
6.4 小結和預告
第7章 基于深度學習的回歸分析和聚類分析
7.1 回歸分析
7.1.1 獲取California房價數據集
7.1.2 用神經網絡分析預測房價
7.1.3 獲取股票數據集
7.1.4 用神經網絡分析股價
7.2 聚類分析
7.2.1 分類葡萄酒數據
7.2.2 分類鳶尾花數據
7.2.3 用神經網絡預測股票漲跌
7.3 小結和預告
第8章 遷移學習實戰(zhàn)
8.1 遷移學習的概念和常用方法
8.1.1 遷移學習的兩大實現方法
8.1.2 可供使用的預訓練模型
8.2 基于微調參數的遷移學習
8.2.1 ResNet18和ResNet34
8.2.2 用數據集訓練微調參數
8.3 基于特征提取器的遷移學習
8.3.1 獲取螞蟻和蜜蜂數據集
8.3.2 對特征提取器的說明
8.3.3 基于特征提取器的遷移學習
8.4 小結和預告
第9章 基于詞向量和模型的文本分析
9.1 文本分析的基礎:向量化
9.1.1 文本向量化概述
9.1.2 詞頻-逆頻率
9.1.3 基于詞頻-逆頻率的向量化示例
9.2 分詞、向量化和詞嵌入
9.2.1 基于分詞的向量化
9.2.2 基于向量化的相似度分析
9.2.3 深入了解詞嵌入和詞向量
9.2.4 基于FastText模型的詞嵌入
9.2.5 基于詞嵌入的相似度分析
9.3 基于卷積模型的情感分析
9.3.1 Imdb數據集介紹
9.3.2 用GloVe庫實現向量化
9.3.3 nn.Embedding與卷積模型
9.3.4 訓練模型,預測新文本的情感
9.4 基于循環(huán)神經網絡的情感分析
9.4.1 單向神經網絡
9.4.2 雙向神經網絡
9.4.3 基于雙向神經網絡的情感分析
9.5 小結和預告
第10章 基于生成對抗網絡的圖片識別實戰(zhàn)
10.1 生成對抗網絡概述
10.1.1 用兩個模型來對抗
10.1.2 生成器和判別器損失值的計算方式
10.1.3 生成對抗網絡的訓練過程
10.2 基于MNIST數據集的實戰(zhàn)
10.2.1 訓練過程和損失值
10.2.2 訓練與預測的代碼分析
10.3 生成對抗卷積網絡實戰(zhàn)
10.3.1 STL-10數據集分析
10.3.2 基于卷積的生成對抗網絡
10.3.3 訓練并擬合STL圖片
10.4 小結和預告
第11章 人臉檢測和人臉識別技術實戰(zhàn)
11.1 人臉檢測和人臉識別技術概述
11.1.1 人臉檢測相關算法介紹
11.1.2 人臉識別技術介紹
11.1.3 支持人臉檢測和識別的類庫
11.1.4 獲取LFW人臉數據集
11.1.5 安裝OpenCV庫
11.2 基于Dlib的人臉檢測
11.2.1 繪制人臉范圍
11.2.2 獲取人臉特征點
11.3 用對抗網絡擬合人臉
11.3.1 數據集介紹
11.3.2 用基于卷積的生成對抗網絡擬合人臉
11.4 實戰(zhàn)人臉識別技術
11.4.1 基于Face_recognition的人臉識別技術
11.4.2 基于MTCNN的人臉識別技術
11.5 小結和預告
第12章 音頻處理技術實戰(zhàn)
12.1 必要的準備工作
12.1.1 安裝torchaudio庫
12.1.2 下載音頻數據集
12.2 音頻知識點概述
12.2.1 時域圖和頻域圖
12.2.2 聲譜圖
12.2.3 梅爾頻譜
12.3 用卷積模型分類音頻
12.3.1 加載數據集的特征值和目標值
12.3.2 用交叉驗證擴充數據集
12.3.3 搭建卷積神經網絡模型
12.3.4 訓練、驗證及預測
12.4 小結和預告
第13章 目標檢測技術實戰(zhàn)
13.1 目標檢測技術概述
13.1.1 傳統(tǒng)目標檢測的流程及缺陷
13.1.2 基于深度學習的目標檢測技術
13.1.3 目標檢測的相關概念
13.2 通過數據集初識目標標記
13.2.1 介紹VOC 2007數據集
13.2.2 展示目標標記效果
13.3 用模型標記目標
13.3.1 Faster R-CNN模型
13.3.2 用Faster R-CNN模型標記目標
13.3.3 用SSD模型標記目標
13.3.4 用Yolo模型標記目標
13.4 小結和預告
第14章 強化學習實戰(zhàn)
14.1 強化學習概述
14.1.1 強化學習的概念和流程
14.1.2 強化學習的算法框架
14.1.3 PPO算法概述
14.1.4 基于PPO算法的模型概述
14.1.5 安裝強化學習的環(huán)境類庫
14.2 基于倒立擺環(huán)境的PPO強化學習
14.2.1 倒立擺問題概述
14.2.2 搭建PPO網絡模型
14.2.3 引用PPO模型,實現強化學習
14.3 基于著陸艙環(huán)境的PPO強化學習
14.3.1 著陸艙降落問題概述
14.3.2 搭建 PPO網絡模型
14.3.3 實現強化學習的案例分析
14.4 小結和預告
第15章 基于Transformer模型的自然語言翻譯
15.1 Transformer模型概述
15.1.1 Transformer模型的架構和構成
15.1.2 注意力機制和計算規(guī)則
15.1.3 自注意力和多頭注意力機制
15.2 基于Transformer模型的自然語言翻譯流程
15.2.1 翻譯的主要流程
15.2.2 下載訓練數據集和分詞模型
15.2.3 搭建文本翻譯的Transformer模型
15.2.4 訓練Transformer模型
15.2.5 嘗試翻譯,觀察訓練成果
15.3 小結和預告
第16章 ViT模型實戰(zhàn)
16.1 ViT的概念和架構
16.1.1 ViT的組成架構
16.1.2 ViT分類圖片的大致流程
16.2 簡要版ViT分類圖片實戰(zhàn)
16.2.1 數據集分析
16.2.2 搭建簡要版的ViT模型
16.2.3 訓練模型,觀察分類結果
16.3 完整版ViT分類圖片實戰(zhàn)
16.3.1 實現注意力機制的類
16.3.2 實現MLP層
16.3.3 實現Transformer編碼器層
16.3.4 搭建完整版的ViT模型
16.3.5 訓練模型,觀察分類結果
16.4 小結和預告
第17章 DeepSeek本地化部署和微調實戰(zhàn)
17.1 DeepSeek模型概述
17.1.1 大語言模型概述
17.1.2 DeepSeek大語言模型簡介
17.2 DeepSeek本地化部署
17.2.1 下載DeepSeek
17.2.2 觀察本地化部署效果
17.3 微調DeepSeek
17.3.1 獲取EmoLLM數據集
17.3.2 基于LoRA的微調方法
17.3.3 微調DeepSeek大模型
17.4 小結和預告