"智能運(yùn)維的核心目標(biāo)包括故障預(yù)測、自動化修復(fù)、效能優(yōu)化,最終推動運(yùn)維從經(jīng)驗驅(qū)動向數(shù)據(jù)驅(qū)動轉(zhuǎn)型,降低非計劃停機(jī)損失并提升系統(tǒng)可靠性。《智能運(yùn)維實踐》從智能運(yùn)維基本理論入手,詳細(xì)講解智能運(yùn)維方法和應(yīng)用案例,幫助讀者掌握智能運(yùn)維的核心技術(shù)本書配套示例源碼、PPT課件與教學(xué)大綱。 《智能運(yùn)維實踐》共分12章,內(nèi)容包括智能運(yùn)維概述、智能運(yùn)維框架、搭建Ubuntu運(yùn)維和開發(fā)環(huán)境、Python編程基礎(chǔ)、數(shù)據(jù)采集與存儲、數(shù)據(jù)預(yù)處理、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、自然語言處理、日志異常檢測、面向微服務(wù)的根因定位、網(wǎng)絡(luò)流量異常檢測。 《智能運(yùn)維實踐》理論與實踐相結(jié)合,從基礎(chǔ)概念出發(fā),逐步深入技術(shù)細(xì)節(jié),適合智能運(yùn)維初學(xué)者、智能運(yùn)維應(yīng)用開發(fā)人員、系統(tǒng)與網(wǎng)絡(luò)運(yùn)維人員閱讀!吨悄苓\(yùn)維實踐》也適合作為高等院校或高職高專院校智能運(yùn)維課程的教材。"
(1)《智能運(yùn)維實踐》介紹智能運(yùn)維的基礎(chǔ)理論和相關(guān)技術(shù),包括智能運(yùn)維整體框架以及機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和自然語言處理的常用算法。
(2)《智能運(yùn)維實踐》通過面向?qū)嶋H場景需求的日志異常檢測、根因定位、網(wǎng)絡(luò)流量異常檢測等項目案例,由淺入深地闡述如何將人工智能應(yīng)用到IT運(yùn)維實踐中。
(3)配套示例源碼、PPT課件、教學(xué)大綱、配圖PDF文件。
前 言
本書背景
近年來,隨著云計算、大數(shù)據(jù)和人工智能技術(shù)的廣泛應(yīng)用,傳統(tǒng)運(yùn)維模式在應(yīng)對復(fù)雜IT系統(tǒng)時逐漸顯現(xiàn)出局限性。智能運(yùn)維(AIOps)作為運(yùn)維領(lǐng)域的新興方向,嘗試通過引入機(jī)器學(xué)習(xí)、自動化分析等技術(shù)來提升運(yùn)維效率,但其理論體系和技術(shù)實踐仍在不斷演進(jìn)中。
我們編寫本書的初衷是為讀者提供一個相對系統(tǒng)的智能運(yùn)維學(xué)習(xí)參考。書中內(nèi)容基于現(xiàn)有的AIOps技術(shù)實踐整理而成,雖然力求全面,但受限于編者的水平和智能運(yùn)維領(lǐng)域的發(fā)展速度,難免存在不足之處。我們期待通過本書拋磚引玉,與廣大讀者共同探討智能運(yùn)維的未來發(fā)展方向。
本書目的
本書旨在為讀者構(gòu)建智能運(yùn)維領(lǐng)域的系統(tǒng)性學(xué)習(xí)路徑,通過理論與實踐相結(jié)合的方式,幫助不同背景的讀者掌握AIOps的核心技術(shù)。本書注重知識體系的完整性和實踐指導(dǎo)性,力求使學(xué)術(shù)研究者獲得理論支撐,同時讓工程實踐者掌握落地方法,推動智能運(yùn)維技術(shù)在實際工作場景中的應(yīng)用與創(chuàng)新。
本書內(nèi)容概述
本書系統(tǒng)介紹智能運(yùn)維(AIOps)的核心技術(shù)與實踐應(yīng)用,內(nèi)容涵蓋智能運(yùn)維的基本概念、技術(shù)框架、開發(fā)環(huán)境搭建等基礎(chǔ)知識,并深入講解數(shù)據(jù)采集與存儲、數(shù)據(jù)預(yù)處理、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等關(guān)鍵技術(shù)。書中特別設(shè)計了日志異常檢測、微服務(wù)根因定位、網(wǎng)絡(luò)流量異常檢測等典型運(yùn)維場景的實戰(zhàn)案例,通過Python代碼幫助讀者掌握智能運(yùn)維的實踐方法。
本書特點
(1)理論與實踐相結(jié)合:不僅講解算法原理,還提供完整的代碼實現(xiàn)和案例分析。
(2)案例驅(qū)動:圍繞真實運(yùn)維場景(如日志分析、故障定位等)展開,增強(qiáng)實用性,方便讀者在類似的場景中直接借鑒。
(3)內(nèi)容安排循序漸進(jìn):從基礎(chǔ)環(huán)境搭建到高階算法應(yīng)用,適合不同水平的讀者學(xué)習(xí)。
(4)開源工具支持:采用Python、scikit-learn、PyTorch等主流技術(shù)棧,確保可復(fù)現(xiàn)性。
本書配套資源
本書配套實例源碼、PPT課件與教學(xué)大綱,讀者使用自己的微信掃描右側(cè)的二維碼即可獲取。如果在閱讀過程中發(fā)現(xiàn)問題或有任何建議,請下載資源中提供的相關(guān)電子郵箱或微信進(jìn)行聯(lián)系。
本書適合的讀者
本書采用循序漸進(jìn)的方式組織內(nèi)容,從基礎(chǔ)概念到算法原理再到工程實踐,既適合作為高校智能運(yùn)維課程的教材,也可供運(yùn)維工程師和開發(fā)人員參考使用。書中提供的Ubuntu環(huán)境配置指南、Python編程示例和智能運(yùn)維示例代碼,能夠有效降低學(xué)習(xí)門檻,使讀者快速上手并應(yīng)用于實際工作場景。
作者與鳴謝
本書作者蘇娜、孫琳和王鴿均為高校計算機(jī)專業(yè)教師,主要從事智能運(yùn)維、大數(shù)據(jù)分析與挖掘等方面的研究和教學(xué)工作。
本書的編寫得到了眾多專家、同行以及開源社區(qū)的大力支持,在此表示衷心的感謝。特別感謝裴厚清、徐力、劉文羽三位同學(xué)在實驗驗證和資料整理方面對本書作出的貢獻(xiàn)。
同時,本書的順利出版離不開清華大學(xué)出版社各位編輯老師的專業(yè)指導(dǎo)和辛勤付出,在此謹(jǐn)致謝忱。
我們誠摯歡迎廣大讀者提出寶貴意見和建議,以便在未來的版本中持續(xù)優(yōu)化和改進(jìn)。
作 者
2025年3月
蘇娜,副教授,工學(xué)博士,碩士生導(dǎo)師,中國自動化學(xué)會網(wǎng)絡(luò)信息服務(wù)專業(yè)委員會委員,中國自動化學(xué)會會員,泰安市高層次人才。主要研究方向為數(shù)據(jù)挖掘、人工智能等。主持或參與10余項科研項目,發(fā)表學(xué)術(shù)論文20余篇,撰寫專著1部,取得發(fā)明專利2項、軟件著作權(quán)多項。
孫琳,學(xué)術(shù)副教授,碩士生導(dǎo)師。主要研究方向為數(shù)據(jù)分析與數(shù)據(jù)挖掘等。主持并參與多項省部級科研項目,發(fā)表科研、教學(xué)論文十余篇,其中多篇被SCI、EI檢索。
王鴿,副教授,博士,碩士生導(dǎo)師。主要研究方向為大數(shù)據(jù)分析、人工智能、自然語言處理、機(jī)器學(xué)習(xí)等。主持并參與多項省部級科研項目,發(fā)表論文20余篇,參編教材4部,取得發(fā)明專利2項、軟件著作權(quán)多項。
目 錄
第1章 智能運(yùn)維概述 1
1.1 引言 1
1.1.1 智能運(yùn)維的興起 1
1.1.2 智能運(yùn)維的發(fā)展歷程 2
1.1.3 智能運(yùn)維的技術(shù)基礎(chǔ) 3
1.1.4 智能運(yùn)維的目標(biāo) 4
1.2 智能運(yùn)維的應(yīng)用 4
1.2.1 智能運(yùn)維的應(yīng)用領(lǐng)域 4
1.2.2 智能運(yùn)維要解決的問題 5
1.3 智能運(yùn)維的相關(guān)標(biāo)準(zhǔn) 6
1.3.1 運(yùn)維相關(guān)的現(xiàn)有標(biāo)準(zhǔn) 7
1.3.2 人工智能的現(xiàn)有標(biāo)準(zhǔn) 9
1.3.3 智能運(yùn)維的現(xiàn)有標(biāo)準(zhǔn) 10
第2章 智能運(yùn)維框架 12
2.1 整體框架 12
2.2 組織治理 13
2.3 場景實現(xiàn) 14
2.4 能力域 15
第3章 搭建Ubuntu運(yùn)維和開發(fā)環(huán)境 20
3.1 Ubuntu安裝準(zhǔn)備 20
3.2 安裝Oracle VM VirtualBox 22
3.3 安裝Ubuntu服務(wù)器系統(tǒng) 26
3.3.1 創(chuàng)建虛擬機(jī) 26
3.3.2 安裝Ubuntu Server系統(tǒng) 32
3.4 搭建VS Code遠(yuǎn)程開發(fā)環(huán)境 40
第4章 Python編程基礎(chǔ) 44
4.1 Python快速入門 44
4.1.1 Python簡介 44
4.1.2 數(shù)據(jù)類型 47
4.1.3 運(yùn)算符 50
4.1.4 函數(shù) 52
4.1.5 程序控制結(jié)構(gòu) 53
4.1.6 類和對象 54
4.2 NumPy快速入門 55
4.2.1 數(shù)組創(chuàng)建與初始化 55
4.2.2 數(shù)組的核心屬性、操作與計算 56
4.2.3 數(shù)學(xué)運(yùn)算與統(tǒng)計 60
4.3 Pandas快速入門 61
4.3.1 Pandas系列 61
4.3.2 Pandas數(shù)據(jù)幀 65
4.3.3 Pandas示例 69
第5章 數(shù)據(jù)采集與存儲 84
5.1 數(shù)據(jù)采集 84
5.1.1 數(shù)據(jù)采集方法 85
5.1.2 數(shù)據(jù)采集工具 86
5.1.3 數(shù)據(jù)采集的關(guān)鍵考慮因素 88
5.2 數(shù)據(jù)存儲 88
5.2.1 數(shù)據(jù)存儲類型 89
5.2.2 數(shù)據(jù)存儲架構(gòu) 90
5.2.3 數(shù)據(jù)備份與恢復(fù) 90
5.2.4 數(shù)據(jù)安全 91
5.2.5 數(shù)據(jù)管理與優(yōu)化 91
5.2.6 數(shù)據(jù)訪問與檢索 92
第6章 數(shù)據(jù)預(yù)處理 94
6.1 數(shù)據(jù)清洗 95
6.1.1 處理缺失值 95
6.1.2 去除重復(fù)記錄 106
6.2 數(shù)據(jù)集成 112
6.3 數(shù)據(jù)轉(zhuǎn)換 113
6.4 數(shù)據(jù)離散化 119
6.4.1 等距離散化 120
6.4.2 等頻離散化 120
6.4.3 基于聚類的離散化 121
6.4.4 基于決策樹的離散化 122
6.5 特征選擇 123
6.5.1 特征選擇方法 123
6.5.2 特征選擇示例 124
第7章 機(jī)器學(xué)習(xí) 129
7.1 回歸方法 129
7.1.1 常見的回歸方法 130
7.1.2 回歸模型的評估與優(yōu)化 131
7.1.3 回歸模型的示例 132
7.2 分類方法 140
7.2.1 分類的一般流程 140
7.2.2 評估指標(biāo) 141
7.3 決策樹 143
7.3.1 基本概念 143
7.3.2 構(gòu)建步驟 145
7.3.3 決策樹示例 147
7.3.4 決策樹的特點 152
7.4 其他分類算法 152
7.4.1 隨機(jī)森林 152
7.4.2 支持向量機(jī) 153
7.4.3 貝葉斯分類器 156
7.4.4 分類算法小結(jié)與示例 158
7.5 聚類分析 165
7.5.1 劃分聚類方法 165
7.5.2 基于密度的聚類方法及示例 169
7.5.3 層次聚類方法 173
7.5.4 基于網(wǎng)格的聚類方法 173
7.6 關(guān)聯(lián)分析 174
7.6.1 關(guān)聯(lián)分析相關(guān)概念 174
7.6.2 FP-Growth算法 175
7.6.3 關(guān)聯(lián)分析示例 176
7.7 時間序列分析 181
7.7.1 時間序列的基本概念 181
7.7.2 時間序列的平穩(wěn)性 181
7.7.3 時間序列的建模方法 182
7.7.4 時間序列的預(yù)測 183
7.7.5 時間序列分析示例 184
7.8 異常點檢測 192
7.8.1 異常點檢測概述 192
7.8.2 異常點檢測方法 193
7.8.3 異常點檢測示例 193
第8章 深度學(xué)習(xí) 199
8.1 深度學(xué)習(xí)基礎(chǔ) 199
8.2 卷積神經(jīng)網(wǎng)絡(luò) 202
8.2.1 CNN的基本原理 202
8.2.2 CNN應(yīng)用示例 204
8.3 循環(huán)神經(jīng)網(wǎng)絡(luò)及其特殊架構(gòu) 217
8.3.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 217
8.3.2 長短期記憶網(wǎng)絡(luò) 219
8.3.3 門控循環(huán)神經(jīng)網(wǎng)絡(luò) 221
8.4 注意力機(jī)制 222
8.5 Transformer模型 226
第9章 自然語言處理 229
9.1 自然語言處理概述 229
9.2 文本表示方法 230
9.2.1 獨(dú)熱編碼 231
9.2.2 TF-IDF方法 231
9.2.3 Word2Vec模型 232
9.2.4 GloVe預(yù)訓(xùn)練模型 233
9.2.5 BERT預(yù)訓(xùn)練模型 234
9.3 大語言模型及示例 236
第10章 日志異常檢測 244
10.1 數(shù)據(jù)預(yù)處理 245
10.1.1 常用數(shù)據(jù)集介紹 245
10.1.2 日志數(shù)據(jù)處理 246
10.2 HDFS日志異常檢測 247
10.2.1 日志解析與模板匹配 248
10.2.2 事件序列構(gòu)建 252
10.2.3 滑動窗口處理 257
10.2.4 特征工程與標(biāo)簽關(guān)聯(lián) 259
10.2.5 模型訓(xùn)練與評估 262
10.3 日志異常檢測經(jīng)典模型及示例 264
10.3.1 DeepLog模型及示例 265
10.3.2 LogAnomaly模型及示例 274
10.3.3 LogRobust模型及示例 278
第11章 面向微服務(wù)的根因定位 281
11.1 引言 281
11.2 數(shù)據(jù)集 282
11.2.1 數(shù)據(jù)采集 282
11.2.2 公開數(shù)據(jù)集 284
11.3 根因定位方法 286
11.4 根因定位的關(guān)鍵技術(shù) 288
11.4.1 異常檢測 288
11.4.2 PageRank算法及示例 289
11.4.3 隨機(jī)游走算法 296
11.4.4 深度優(yōu)先搜索 297
11.4.5 皮爾遜相關(guān)系數(shù) 298
11.4.6 根因定位關(guān)鍵技術(shù)總結(jié) 298
第12章 網(wǎng)絡(luò)流量異常檢測 300
12.1 引言 300
12.2 網(wǎng)絡(luò)流量分類與數(shù)據(jù)集 301
12.2.1 網(wǎng)絡(luò)異常流量分類 301
12.2.2 公開數(shù)據(jù)集 302
12.3 數(shù)據(jù)預(yù)處理 308
12.4 網(wǎng)絡(luò)流量異常檢測方法 313
12.5 網(wǎng)絡(luò)流量異常檢測示例 315
12.5.1 基于SVM的網(wǎng)絡(luò)流量異常檢測 315
12.5.2 基于DNN的網(wǎng)絡(luò)流量異常檢測 322