大模型驅(qū)動的研發(fā)效能實踐 顧黃亮 鄭清正 牛曉玲 車昕
定 價:99 元
當前圖書已被 3 所學校薦購過!
查看明細
- 作者:顧黃亮 鄭清正 牛曉玲 車昕
- 出版時間:2025/4/1
- ISBN:9787111772347
- 出 版 社:機械工業(yè)出版社
- 中圖法分類:TP311.52
- 頁碼:
- 紙張:膠版紙
- 版次:
- 開本:16開
內(nèi)容簡介這是一本從實踐角度深入探討如何利用大語言模型提升軟件交付全生命周期效率與效能的實戰(zhàn)性著作。全面細致地講解了研發(fā)和運維人員需要掌握的大語言模型及其相關(guān)技術(shù)的原理,重點講解了如何借助大模型實現(xiàn)DevOps、SRE、平臺工程三大領(lǐng)域的智能化實踐,覆蓋開發(fā)、測試、運維、監(jiān)控、安全、項目管理等軟件開發(fā)全流程和全場景,通過豐富的實例展示了其在實際工作場景中的具體應(yīng)用。本書的獨特之處在于它不僅涵蓋了基礎(chǔ)理論知識,如Transformer模型的基本原理及GPT系列模型的發(fā)展歷程,更注重于實踐應(yīng)用,提供了從預訓練到微調(diào)的完整方法論。書中特別強調(diào)了大語言模型在降低IT人員認知負荷方面的作用,通過集成多種工具和技術(shù),幫助企業(yè)構(gòu)建更加高效、智能的軟件交付體系。此外,本書得到了來自企業(yè)級、學術(shù)界和研究機構(gòu)近20位專家的一致好評。通過閱讀本書,你將:?了解大語言模型的發(fā)展和起源?了解ChatGPT的相關(guān)內(nèi)容,包括GPT模型的結(jié)構(gòu)和完整實現(xiàn)?了解Transformer模型的基本原理?深入了解大語言模型的微調(diào)技術(shù),軟件交付的三大底座以及RAG的基本原理?探索大語言模型在運維場景中的實踐?探索大語言模型在編程場景中的實踐?探索大語言模型在測試場景中的實踐?探索大語言模型在安全場景中的實踐?接觸前沿的技術(shù)趨勢,了解實踐中的具體方法,清晰看懂實踐后的數(shù)據(jù)和數(shù)據(jù)
(1)作者背景資深:作者是某持牌金融機構(gòu)的資深研發(fā)效能專家,中國商聯(lián)專家智庫入庫專家,通信部和信通院特聘專家。(2)近20位專家力薦:長江學者、國家智庫成員、信通院云大所所長、清北教授、知名企業(yè)家和行業(yè)專家聯(lián)合推薦。(3)集大成之作:全面講解研發(fā)工程師和運維工程師所需掌握的大模型知識,從實踐角度詳解大模型如何賦能DevOps、SRE、平臺工程,全面提升軟件交付全生命周期的效率與效能。
Preface 前 言
為什么要寫這本書
大語言模型在完成各類NLP(自然語言處理)下游任務(wù)方面有了顯著進步,各種垂直領(lǐng)域的大模型如雨后春筍般不斷涌現(xiàn)。然而,在軟件交付領(lǐng)域,各企業(yè)的實踐較為滯后,缺乏有說服力的相關(guān)案例。在軟件交付領(lǐng)域,DevOps的熱度最高且實踐較為成熟,圍繞DevOps能力衍生出了DevSecOps、DataOps、NoOps、MLOps等一系列細分領(lǐng)域。在后DevOps時代,傳統(tǒng)能力的右移激活了SRE(網(wǎng)站可靠性工程),進一步凸顯了可靠性與穩(wěn)定性保障,尤其在技術(shù)層面與業(yè)務(wù)連續(xù)性緊密關(guān)聯(lián)。同時,平臺工程提供了更全面的全局性思路,在SRE和DevOps體系的基礎(chǔ)上進行了擴展,提供了支撐全面且具備業(yè)務(wù)視角的產(chǎn)品開發(fā)交付平臺。
未來,隨著企業(yè)規(guī)模的不斷擴大和商業(yè)模式的持續(xù)轉(zhuǎn)變,軟件交付能力需要實現(xiàn)質(zhì)的提升。DevOps體系提供了流水線交付構(gòu)件的能力,SRE提供了高可靠的應(yīng)用程序交付基礎(chǔ)架構(gòu),平臺工程致力于解決組織架構(gòu)內(nèi)不同部門的工具協(xié)同問題。相關(guān)研究數(shù)據(jù)顯示,大多數(shù)企業(yè)在軟件交付過程中,盡管進行了多種嘗試和實踐,但仍然遇到了一個共同的問題—認知負荷。復雜的工具和細化的流程顯著增加了IT人員的認知負荷,眾多工具和框架需要IT人員學習和應(yīng)用,而這些繁雜且不斷涌現(xiàn)的技術(shù)反而阻礙了IT人員最為關(guān)鍵的本職工作—軟件交付。
與此同時,隨著越來越多的大語言模型的涌現(xiàn),也需要一個具備集成能力的平臺,推動人工智能的真正落地,幫助IT人員構(gòu)建更強大、更豐富的軟件交付數(shù)據(jù)集,擴展軟件交付領(lǐng)域?qū)S姓Z料庫的詞表,最終通過模型能力助力DevOps、SRE和平臺工程的落地及智能化實踐,以提升軟件交付領(lǐng)域的開發(fā)、測試、運維、監(jiān)控、安全等場景的效率并節(jié)約成本。
基于以上背景,我們編寫了這本關(guān)于大模型在軟件交付過程中的實踐的參考書,旨在幫助讀者全面理解大模型的基礎(chǔ)理論,深入掌握大語言模型的知識框架,了解大模型在軟件交付過程中的應(yīng)用價值。
讀者對象
對DevOps體系、SRE和平臺工程感興趣的人員。
軟件交付鏈路上的節(jié)點人員,如項目經(jīng)理、需求分析師、研發(fā)工程師、測試工程師、運維工程師、安全管理人員。
對大語言模型感興趣的人員。
本書內(nèi)容
本書共11章,從邏輯上分為三篇。
基礎(chǔ)篇(第1~3章)簡要介紹大語言模型的發(fā)展與起源、Transformer模型及ChatGPT相關(guān)內(nèi)容,涵蓋GPT模型的結(jié)構(gòu)與完整實現(xiàn),以及Transformer模型的基本原理。
進階篇(第4~6章)重點講解大語言模型的微調(diào)技術(shù)、RAG的基本原理,以及軟件交付的三大底座——DevOps、平臺工程和SRE。
實踐篇(第7~11章)重點講解大語言模型在運維、測試、編程、項目管理、安全中的應(yīng)用。
勘誤和支持
由于我們的水平有限,書中難免存在不足或錯誤,敬請讀者批評指正。如有寶貴意見,歡迎發(fā)送至郵箱363328714@qq.com,期待讀者的真摯反饋。
致謝
本書的編寫得到中國信息通信研究院的大力支持。
感謝云智慧的張博、北京大學的李戈教授和李力行博士、清華大學的裴丹教授、南京大學的裴雷教授、復旦大學的彭鑫教授、上海交通大學的束駿亮博士、蜚語科技的陳悅、LigaAI的周然及南京郵電大學的季一木教授,他們提供了大量素材和建議。
感謝阿里巴巴的劉凱寧、B站的劉昊、騰訊的楊軍和陳自欣、美圖的石鵬、趣丸的劉亞丹、DevOps聯(lián)盟的劉征、快貓星云的來煒、廣發(fā)證券的彭華盛、聯(lián)通軟研院的李明亮、浙江移動的葉曉龍在本書寫作過程中給予的支持和幫助。
此外,感謝SRE精英聯(lián)盟,尤其是趙成和黨受輝,給予了我們很多思路和啟發(fā)。
最后,感謝我的家人給予的鼓勵,他們永遠是我最堅強的后盾。
顧黃亮,資深DevOps/研發(fā)效能專家,有多年的運維研發(fā)經(jīng)驗,專注企業(yè)IT數(shù)字化轉(zhuǎn)型和落地,致力于企業(yè)智慧運維體系的打造,F(xiàn)在就職于某持牌金融機構(gòu)。中國商聯(lián)專家智庫入庫專家、國家互聯(lián)網(wǎng)數(shù)據(jù)中心產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟智庫專家委員會副主任委員、江蘇銀行業(yè)和保險業(yè)金融科技專家委員會候選專家、工信部企業(yè)數(shù)字化轉(zhuǎn)型IOMM委員會特聘專家、中國信通院可信云標準特聘專家、中國信通院低代碼/無代碼推進中心特聘專家,騰訊云最具價值專家TVP,阿里云最有價值專家MVP。著有暢銷書《DevOps權(quán)威指南》《企業(yè)級DevOps實戰(zhàn)案例:持續(xù)交付篇》《研發(fā)運營一體化(DevOps)能力成熟度模型》和《企業(yè)IT運維發(fā)展白皮書》核心作者,多個技術(shù)峰會演講嘉賓。
鄭清正,金融科技研究中心高級研究員,英國杜倫大學計算機系博士,英國斯旺西大學計算機軟件工程碩士,曾任華為技術(shù)規(guī)劃工程師、圖像研究工程師。專注研究金融大數(shù)據(jù)風控、機器視覺等領(lǐng)域。 參與人臉識別、電信CRM、內(nèi)存數(shù)據(jù)庫等系統(tǒng)開發(fā);發(fā)表論文3篇,授權(quán)專利3篇。
牛曉玲,DevOps標準工作組組長,DevOps 國際標準編輯人。長期從事開發(fā)運維方面的相關(guān)研究工作,包括云服務(wù)的運維管理系統(tǒng)審查等相關(guān)工作。參與編寫《云計算服務(wù)協(xié)議參考框架》《對象存儲》《云數(shù)據(jù)庫》《研發(fā)運營一體化(DevOps)能力成熟度模型》《Y.3525 Cloud computing-Requirement for cloud service development and operation management 》《云計算運維智能化通用評估方法》等20余項國內(nèi)標準和國際標準。參與評估DevOps能力成熟度評估超過50個項目,具有豐富的標準編制及評估測試經(jīng)驗。
車昕,中國信通院云計算與大數(shù)據(jù)研究所政企數(shù)字化轉(zhuǎn)型部副主任,主要從事企業(yè)數(shù)字化轉(zhuǎn)型成熟度模型IOMM、可信數(shù)字化服務(wù)、數(shù)字基礎(chǔ)設(shè)施一體化云平臺、中臺系列、低/無代碼、組裝式、安全生產(chǎn)、智慧運營等領(lǐng)域技術(shù)研究和轉(zhuǎn)型咨詢規(guī)劃,制定相關(guān)標準、開展評估測試、組織技術(shù)實踐交流等工作。
目 錄 Contents
前言
本書贊譽
第1章 初識大語言模型1
1.1 大語言模型的發(fā)展1
1.2 常見的大語言模型3
1.2.1 統(tǒng)計學模型N-gram3
1.2.2 統(tǒng)計學模型HMM4
1.2.3 神經(jīng)網(wǎng)絡(luò)模型RNN6
1.2.4 自然語言處理中的傳統(tǒng)模型
LSTM7
第2章 大語言模型的基石—
Transformer10
2.1 Transformer模型的由來10
2.2 Transformer模型的基本原理11
2.2.1 詞嵌入13
2.2.2 位置編碼17
2.2.3 注意力機制20
2.3 Transformer注意力機制的技術(shù)
實現(xiàn)24
2.3.1 自注意力機制的設(shè)計細節(jié)26
2.3.2 多頭注意力機制的設(shè)計細節(jié)30
2.4 Transformer模型總結(jié)31
第3章 從Transformer到
ChatGPT33
3.1 ChatGPT的由來33
3.2 二元語法模型34
3.2.1 文本如何轉(zhuǎn)換為數(shù)字35
3.2.2 如何設(shè)計模型35
3.2.3 如何訓練模型38
3.3 GPT模型40
3.3.1 GPT模型的結(jié)構(gòu)40
3.3.2 GPT模型的設(shè)計實踐42
3.4 簡單GPT模型的完整實現(xiàn)46
3.5 GPT模型的優(yōu)化53
3.5.1 樣本數(shù)據(jù)的精細化處理53
3.5.2 特殊符號的引入54
3.5.3 早停策略的應(yīng)用56
3.5.4 模型訓練中的強化學習57
3.6 GPT模型總結(jié)59
第4章 大語言模型的微調(diào)技術(shù)61
4.1 微調(diào)的基本概念61
4.1.1 適配器微調(diào)63
4.1.2 前綴微調(diào)64
4.1.3 LoRA65
4.1.4 QLoRA65
4.2 微調(diào)中的關(guān)鍵技術(shù)66
4.2.1 PEFT工具包66
4.2.2 LoRA67
4.3 微調(diào)技術(shù)的應(yīng)用案例69
4.3.1 BERT分類模型69
4.3.2 基于BERT分類模型的微調(diào)78
4.3.3 QLoRA中使用的量化技術(shù)82
第5章 企業(yè)AI應(yīng)用技術(shù)—
RAG85
5.1 RAG技術(shù)的基本原理85
5.2 RAG技術(shù)的應(yīng)用案例87
5.2.1 客服問答系統(tǒng)87
5.2.2 財富管理系統(tǒng)88
5.2.3 RAG2SQL90
5.2.4 多智能體系統(tǒng)93
第6章 軟件交付的三大底座100
6.1 DevOps100
6.1.1 DevOps的概念100
6.1.2 DevOps與企業(yè)和IT組織
的關(guān)系101
6.1.3 DevOps究竟是什么103
6.1.4 DevOps的數(shù)字可視能力103
6.1.5 DevOps的科技左移能力104
6.1.6 DevOps的數(shù)字運營能力105
6.1.7 DevOps的彈性合作能力107
6.1.8 DevOps的數(shù)字風險能力107
6.1.9 大語言模型下的DevOps108
6.2 平臺工程110
6.2.1 平臺工程的概念110
6.2.2 平臺工程的關(guān)鍵屬性111
6.2.3 平臺工程的核心模塊115
6.2.4 平臺工程的能力要求115
6.2.5 平臺工程的最佳實踐118
6.2.6 平臺工程與DevOps、SRE
的區(qū)別119
6.2.7 大語言模型下的平臺工程120
6.3 SRE122
6.3.1 SRE的由來122
6.3.2 SRE的目標122
6.3.3 SRE團隊的使命122
6.3.4 SRE團隊的存在形式123
6.3.5 應(yīng)用韌性架構(gòu)設(shè)計124
6.3.6 構(gòu)建可靠性設(shè)計126
6.3.7 變更評審設(shè)計128
第7章 大語言模型在運維場景中
的實踐133
7.1 日志運維智能化133
7.1.1 日志的概念134
7.1.2 日志運維的基本流程134
7.1.3 日志運維的痛點136
7.1.4 如何解決日志運維的痛點137
7.2 智能運維知識庫的構(gòu)建146
7.2.1 構(gòu)建運維知識庫的難點和
優(yōu)勢146
7.2.2 構(gòu)建運維知識庫的技術(shù)路徑147
7.2.3 運維知識庫的應(yīng)用案例149
7.3 智能運維工單150
7.3.1 智能運維工單的作用151
7.3.2 構(gòu)建智能運維工單的技術(shù)
路徑152
7.3.3 智能運維工單的應(yīng)用案例154
7.4 大模型運維能力評測155
7.4.1 構(gòu)建評測數(shù)據(jù)集155
7.4.2 評測工具和方法156
7.4.3 評測結(jié)果156
7.5 基于多智能體的微服務(wù)根因分析157
7.5.1 微服務(wù)架構(gòu)的挑戰(zhàn)157
7.5.2 多智能體系統(tǒng)158
7.5.3 多智能體系統(tǒng)的應(yīng)用案例158
第8章 大語言模型在測試場景
中的實踐162
8.1 測試的痛點162
8.2 動態(tài)測試技術(shù)的智能化演進163
8.2.1 動態(tài)測試技術(shù)的基本概念163
8.2.2 常見的動態(tài)測試技術(shù)164
8.2.3 動態(tài)測試技術(shù)的痛點166
8.2.4 大模型在動態(tài)測試領(lǐng)域的
應(yīng)用嘗試167
8.3 靜態(tài)測試技術(shù)的智能化演進171
8.3.1 靜態(tài)測試技術(shù)的基本概念171
8.3.2 常見的靜態(tài)測試技術(shù)172
8.3.3 靜態(tài)測試技術(shù)的痛點173
8.3.4 大模型在靜態(tài)測試領(lǐng)域的
應(yīng)用嘗試175
8.4 大語言模型在測試場景下的
落地難點178
8.4.1 大語言模型的處理窗口
瓶頸179
8.4.2 模型的幻覺問題179
8.4.3 RAG與Agent的取舍179
8.4.4 基座模型的選擇180
8.4.5 大語言模型微調(diào)的必要性180
8.4.6 模型的可解釋性與透明性180
8.4.7 大語言模型在測試場景中的
性能評估180
8.4.8 大語言模型的維護與更新181
8.5 基于靜態(tài)分析和RAG的漏洞
自動化修復方案181
第9章 大語言模型在編程場景
中的實踐184
9.1 代碼大模型184
9.1.1 代碼大模型的定義和特點184
9.1.2 常見的代碼大模型186
9.2 代碼的下游任務(wù)188
9.2.1 文本到代碼任務(wù)188
9.2.2 代碼到代碼任務(wù)189
9.2.3 代碼到文本任務(wù)191
9.2.4 代碼到模式任務(wù)191
9.2.5 文本到文本任務(wù)192
9.3 代碼生成和補全192
9.3.1 代碼生成和補全技術(shù)的
發(fā)展歷史192
9.3.2 常見的代碼生成和補全技術(shù)193
9.3.3 基于可視化編排進行代碼生
成和補全194
9.3.4 基于輸入輸出樣例進行代碼
生成和補全195
9.3.5 基于代碼語料進行代碼生成
和補全196
9.3.6 基于功能描述進行代碼生成
和補全199
9.3.7 基于語言模型進行代碼生成
和補全200
9.3.8 代碼生成與補全的痛點202
9.4 基于Agent的項目級代碼生成
方法203
9.4.1 項目級代碼生成在企業(yè)中
的痛點203
9.4.2 Agent的技術(shù)實現(xiàn)204
9.4.3 事務(wù)自動處理在開發(fā)場景中
的運用207
9.4.4 項目研發(fā)問答場景208
9.4.5 從需求到完整的項目級代碼
生成場景208
第10章 大語言模型在項目管理
場景中的實踐210
10.1 項目需求分析與任務(wù)規(guī)劃210
10.1.1 需求分析211
10.1.2 任務(wù)規(guī)劃213
10.2 溝通與協(xié)作214
10.2.1 溝通與協(xié)作的重要性215
10.2.2 大語言模型在溝通與協(xié)
作場景中的作用216
10.2.3 大語言模型提升溝通效率
和整合資源的能力218
10.3 項目風險管理與決策支持220
10.3.1 風險管理221
10.3.2 決策支持222
10.4 項目執(zhí)行階段的智能優(yōu)化225
10.4.1 工作流程及資源管理的
挑戰(zhàn)225
10.4.2 大語言模型如何賦能工作
流程及資源管理225
10.5 大語言模型在項目管理中的
實踐案例227
10.5.1 輔助理解客戶需求227
10.5.2 提升內(nèi)部信息流轉(zhuǎn)效率229
10.5.3 實現(xiàn)項目風險和進度的
自動分析功能231
10.5.4 助力任務(wù)分配的高效合理232
第11章 大語言模型在安全場景
中的實踐235
11.1 大語言模型催生安全新范式235
11.1.1 大語言模型在安全領(lǐng)域中
的優(yōu)勢235
11.1.2 大語言模型在安全領(lǐng)域中
的挑戰(zhàn)236
11.2 大語言模型在安全領(lǐng)域中的
應(yīng)用場景236
11.2.1 異常檢測236
11.2.2 威脅識別與分類237
11.2.3 自動化威脅狩獵237
11.2.4 釣魚攻擊識別238
11.2.5 惡意軟件檢測238
11.2.6 入侵檢測系統(tǒng)239
11.2.7 安全策略建議239
11.2.8 預測性威脅建模240
11.2.9 數(shù)據(jù)泄露預防240
11.2.10 安全教育與訓練240
11.2.11 情報共享與協(xié)作241
11.2.12 合規(guī)性監(jiān)控241
11.3 大語言模型在安全領(lǐng)域中的
風險241
11.3.1 原生風險241
11.3.2 應(yīng)用安全風險242
11.3.3 對抗風險243
11.4 大語言模型的零樣本漏洞修復
研究243
11.4.1 研究背景243
11.4.2 研究思路244
11.4.3 實驗過程244