定 價:45 元
叢書名:面向新工科的電工電子信息基礎(chǔ)課程系列教材
- 作者:韓宇星、楊強
- 出版時間:2024/12/1
- ISBN:9787302700654
- 出 版 社:清華大學(xué)出版社
- 中圖法分類:TP181
- 頁碼:
- 紙張:膠版紙
- 版次:
- 開本:16開
本書內(nèi)容已經(jīng)外聘和清華大學(xué)黨委審讀審核通過(清委文[2025]52號)后同意安排出版。在大數(shù)據(jù)時代,數(shù)據(jù)孤島問題嚴重阻礙了數(shù)據(jù)共享與人工智能應(yīng)用的發(fā)展。聯(lián)邦學(xué)習(xí)作為一種隱私保護的機器學(xué)習(xí)范式,允許各機構(gòu)在不泄露本地數(shù)據(jù)的前提下協(xié)同訓(xùn)練全局模型,有效挖掘分散數(shù)據(jù)并降低泄露風(fēng)險,推動了人工智能在各領(lǐng)域的應(yīng)用。本書全面介紹了聯(lián)邦學(xué)習(xí)的核心概念與關(guān)鍵技術(shù),涵蓋基礎(chǔ)知識、隱私安全、個性化學(xué)習(xí)、貢獻度評估、與大模型的關(guān)系、拜占庭問題及實際應(yīng)用案例。本書將幫助讀者深入理解并掌握聯(lián)邦學(xué)習(xí)這一前沿領(lǐng)域的理論與實踐,適合作為計算機科學(xué)、人工智能和機器學(xué)習(xí)等專業(yè)的教材,也可供大數(shù)據(jù)和AI應(yīng)用開發(fā)的工程師參考。
優(yōu)質(zhì)團隊深度編撰。作者韓宇星長期執(zhí)教于清華大學(xué),楊強榮膺加拿大工程院及加拿大皇家學(xué)院院士,是國際聯(lián)邦學(xué)習(xí)研究的引領(lǐng)者。他們結(jié)合多年的學(xué)術(shù)研究與一線工程實踐經(jīng)驗,系統(tǒng)呈現(xiàn)聯(lián)邦學(xué)習(xí)從基礎(chǔ)理論到前沿應(yīng)用的完整框架,讓讀者站在國內(nèi)外的視角深入理解這一隱私保護機器學(xué)習(xí)范式。理論與實踐無縫銜接。全書涵蓋聯(lián)邦學(xué)習(xí)的定義、系統(tǒng)模型與威脅模型、個性化與非獨立同分布問題、貢獻度評估、聯(lián)邦大模型、拜占庭安全等關(guān)鍵技術(shù)板塊,層層剖析核心原理;同時配以醫(yī)療、金融、邊緣計算、推薦系統(tǒng)等真實案例,幫助讀者將抽象算法與具體應(yīng)用緊密結(jié)合,既打牢理論基礎(chǔ),又能快速落地工程實踐。易學(xué)易用的教學(xué)設(shè)計。遵循“知其然、知其所以然”的教學(xué)理念,全書結(jié)構(gòu)清晰、章節(jié)銜接緊湊,大量圖表與示意圖直觀呈現(xiàn)復(fù)雜體系,循序漸進地引導(dǎo)讀者掌握聯(lián)邦學(xué)習(xí)技術(shù),零基礎(chǔ)讀者也能逐步突破門檻。全方位應(yīng)用場景覆蓋。重點探討聯(lián)邦學(xué)習(xí)在醫(yī)療診斷、金融風(fēng)控、智能推薦、物聯(lián)網(wǎng)、自動駕駛等多個領(lǐng)域的典型應(yīng)用,展示技術(shù)創(chuàng)新與工程實踐的結(jié)合路徑,幫助讀者了解研究動向,打造面向未來的隱私保護型智能系統(tǒng)解決方案。
前言
在人工智能時代,各組織和機構(gòu)積累了海量的數(shù)據(jù),然而由于競爭、商業(yè)機密和隱私保護等因素,這些數(shù)據(jù)往往難以共享,形成了明顯的數(shù)據(jù)孤島現(xiàn)象。這種孤島不僅限制了數(shù)據(jù)的有效利用,還阻礙了人工智能模型的訓(xùn)練和優(yōu)化,導(dǎo)致算法性能的提升受到制約。
與此同時,隨著對數(shù)據(jù)隱私的重視,一系列數(shù)據(jù)隱私法案相繼出臺,如歐盟的《通用數(shù)據(jù)保護條例》(GDPR)和美國的《加利福尼亞州消費者隱私法案》(CCPA)。這些法規(guī)要求企業(yè)在處理個人數(shù)據(jù)時必須遵循嚴格的隱私保護標(biāo)準(zhǔn),確保用戶的同意和數(shù)據(jù)的安全。這使得傳統(tǒng)的集中式數(shù)據(jù)處理方法面臨諸多合規(guī)風(fēng)險,企業(yè)對用戶數(shù)據(jù)的使用受到限制。
為了解決數(shù)據(jù)共享的難題,研究人員開始尋求一種新的方法,以便在不需要將所有數(shù)據(jù)集中到一個中心存儲點的情況下訓(xùn)練機器學(xué)習(xí)模型。一種可行的方法是:各個擁有數(shù)據(jù)源的機構(gòu)利用自身的數(shù)據(jù)獨立訓(xùn)練一個模型,隨后各機構(gòu)的模型間進行信息交換,最終通過模型聚合得到一個全局模型。為了確保用戶隱私和數(shù)據(jù)安全,精心設(shè)計各機構(gòu)之間交換模型信息的過程,確保沒有任何機構(gòu)能夠推斷出其他機構(gòu)的隱私數(shù)據(jù)內(nèi)容。同時,在構(gòu)建全局模型時,使其效果與集中式訓(xùn)練的模型幾乎一致。這便是聯(lián)邦學(xué)習(xí)(Federated Learning,F(xiàn)L)提出的動機和核心思想。
聯(lián)邦學(xué)習(xí)是一種利用分散在各參與方的數(shù)據(jù)集,通過隱私保護技術(shù)融合多方數(shù)據(jù)信息,協(xié)同構(gòu)建全局模型的分布式訓(xùn)練范式。在模型訓(xùn)練過程中,模型參數(shù)、模型結(jié)構(gòu)、參數(shù)梯度等相關(guān)信息可以在參與方之間進行交換(可以通過明文、數(shù)據(jù)加密或添加噪聲等方式)。然而,本地訓(xùn)練數(shù)據(jù)始終留在本地,確保用戶數(shù)據(jù)的隱私不受威脅。這種機制極大地緩解了數(shù)據(jù)泄露的風(fēng)險,訓(xùn)練好的聯(lián)邦學(xué)習(xí)模型可以在各數(shù)據(jù)參與方之間共享和部署使用。
聯(lián)邦學(xué)習(xí)的提出為解決數(shù)據(jù)孤島問題、提高數(shù)據(jù)利用率和保護用戶隱私提供了新思路。在未來的人工智能發(fā)展中,聯(lián)邦學(xué)習(xí)有望成為一種重要的研究方向,推動機器學(xué)習(xí)技術(shù)在各個領(lǐng)域的廣泛應(yīng)用。隨著對聯(lián)邦學(xué)習(xí)研究的深入,它將為數(shù)據(jù)驅(qū)動的智能決策提供有力支持,助力構(gòu)建一個更加智能化和互聯(lián)互通的世界。
本書專注于聯(lián)邦學(xué)習(xí)的全面介紹,旨在成為讀者探索這一前沿領(lǐng)域的優(yōu)選入門書籍。無論是計算機科學(xué)、人工智能還是機器學(xué)習(xí)專業(yè)的學(xué)生,抑或是從事大數(shù)據(jù)和人工智能應(yīng)用開發(fā)的工程師,都能從中受益。特別是針對本科高年級學(xué)生、研究生、大學(xué)教師以及研究機構(gòu)的研究人員,本書提供了深入的理論基礎(chǔ)與應(yīng)用方式,幫助他們掌握聯(lián)邦學(xué)習(xí)的核心概念和技術(shù)。
本書各章節(jié)內(nèi)容系統(tǒng)全面,旨在幫助讀者深入理解聯(lián)邦學(xué)習(xí)的多維度特性。第 1章回顧了聯(lián)邦學(xué)習(xí)的基本概念,包括其提出的背景、定義以及分類,幫助讀者建立初步的認識。第 2章聚焦于隱私安全問題,這是聯(lián)邦學(xué)習(xí)研究的核心。該章詳細討論了聯(lián)邦學(xué)習(xí)面臨的隱私安全威脅及如何設(shè)計保障數(shù)據(jù)隱私和模型安全的系統(tǒng)。第 3章探討了在參與方數(shù)據(jù)具有統(tǒng)計異質(zhì)性和非獨立同分布的情況下,如何應(yīng)對全局模型泛化能力的損失,介紹了個性化聯(lián)邦學(xué)習(xí)的概念和方法。第 4章分析了如何量化各參與方在模型訓(xùn)練中所作的貢獻,強調(diào)了評估機制在激勵參與者和促進合作中的重要性。第 5章從聯(lián)邦大模型和聯(lián)邦遷移學(xué)習(xí)兩個角度介紹了聯(lián)邦學(xué)習(xí)在大模型應(yīng)用中的潛力。第 6章討論了在聯(lián)邦學(xué)習(xí)中遇到的拜占庭問題及其對模型安全的威脅,介紹了多種解決方案,確保模型訓(xùn)練的安全性。第 7章展示了聯(lián)邦學(xué)習(xí)在現(xiàn)實世界中的具體應(yīng)用案例,體現(xiàn)了其廣泛的實用性和前景。通過這些章節(jié),讀者將全面了解聯(lián)邦學(xué)習(xí)的理論基礎(chǔ)及其實際應(yīng)用。
本書在編撰過程中有幸得到了眾多與學(xué)生的支持和幫助,特別感謝范力欣博士、古瀚林博士對于本書提出的寶貴意見,同時感謝學(xué)生趙心遠、朱公溪對本書編輯提供的幫助。由于水平有限且工作量繁多,書中理解不當(dāng)之處在所難免,懇請讀者批評指正。
韓宇星楊強
2025年 5月
韓宇星,清華大學(xué)深圳國際研究生院長聘副教授、博士生導(dǎo)師。近5年發(fā)表SCI源刊論文50余篇。長期從事聯(lián)邦學(xué)習(xí)的教學(xué)和科研工作,講授“聯(lián)邦學(xué)習(xí)”等課程。主持多項、省部級項目,榮獲多項省部級獎勵。楊強,加拿大工程院及加拿大皇家學(xué)院院士,香港理工大學(xué)人工智能高等研究院院長,香港科技大學(xué)榮休教授,微眾銀行首席人工智能官(榮休),AAAI-2021大會主席,國際人工智能聯(lián)合會理事會前主席,中國人工智能學(xué)會常務(wù)副理事長。長期從事聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)的教學(xué)和科研工作。近5年發(fā)表SCI源刊論文百余篇。獲2017年ACMSIGKDD杰出服務(wù)獎及2023年IJCAIDonaldE.Walker杰出服務(wù)獎。出版《遷移學(xué)習(xí)》、《聯(lián)邦學(xué)習(xí)》、《隱私計算》和《聯(lián)邦學(xué)習(xí)實戰(zhàn)》等著作。
目錄
第 1章聯(lián)邦學(xué)習(xí)基礎(chǔ) ..............................................................1
1.1聯(lián)邦學(xué)習(xí)概述
.....................................................................................2
1.
1.1聯(lián)邦學(xué)習(xí)背景 ...........................................................................2
1.
1.2聯(lián)邦學(xué)習(xí)定義與分類.................................................................3
1.
1.3聯(lián)邦學(xué)習(xí)發(fā)展與現(xiàn)狀.................................................................4
1.
2系統(tǒng)模型與威脅模型 ...........................................................................7
1.
2.1聯(lián)邦學(xué)習(xí)系統(tǒng)結(jié)構(gòu) ....................................................................7
1.
2.2聯(lián)邦學(xué)習(xí)威脅模型 ....................................................................8
1.
3聯(lián)邦學(xué)習(xí)系統(tǒng)目標(biāo)...............................................................................9
1.3.1隱私目標(biāo)
..................................................................................9
1.3.2安全目標(biāo)
................................................................................ 10
1.
3.3多目標(biāo)平衡 ............................................................................ 11
1.
3.4貢獻度評估 ............................................................................ 12
第 2章聯(lián)邦學(xué)習(xí)與隱私安全 .................................................. 14
2.
1隱私安全問題定義............................................................................. 15
2.
1.1機器學(xué)習(xí)隱私問題與安全問題.................................................. 15
2.
1.2攻擊與防護對象...................................................................... 16
2.
2聯(lián)邦學(xué)習(xí)隱私安全威脅 ...................................................................... 17
2.
2.1面向數(shù)據(jù)隱私的威脅攻擊 ........................................................ 17
2.
2.2面向模型安全的威脅攻擊 ........................................................ 19
2.
2.3面向模型版權(quán)的威脅攻擊 ........................................................ 20
2.
3聯(lián)邦學(xué)習(xí)隱私安全保護方法 ............................................................... 24
2.3.1差分隱私
................................................................................ 24
2.
3.2安全多方計算 ......................................................................... 25
2.3.3同態(tài)加密
................................................................................ 26
2.
3.4模型版權(quán)保護技術(shù) .................................................................. 27
第 3章個性化聯(lián)邦學(xué)習(xí)......................................................... 33
3.
1非獨立同分布問題與個性化學(xué)習(xí)的必要性 ........................................... 34
3.
2聯(lián)邦學(xué)習(xí)個性化方法 ......................................................................... 35
3.
2.1基于客戶端選擇的方案............................................................ 35
3.
2.2基于元學(xué)習(xí)的方案 .................................................................. 35
3.
2.3 基于正則化的方案 .................................................................. 36
3.
2.4 基于蒸餾的方案...................................................................... 37
第 4 章聯(lián)邦學(xué)習(xí)貢獻度評估 .................................................. 39
4.
1貢獻度評估的重要性與挑戰(zhàn) ............................................................... 40
4.
2貢獻度評估標(biāo)準(zhǔn)與公平性................................................................... 41
4.2.1 基于
Shapley值的貢獻評估方法 .............................................. 41
4.
2.2 基于距離的貢獻度評估方法 ..................................................... 41
4.2.3 評價指標(biāo)
................................................................................ 42
4.
3聯(lián)邦學(xué)習(xí)貢獻度評估方法................................................................... 43
4.3.1 基于
Shapley值的貢獻度評估方法........................................... 43
4.
3.2 基于距離的貢獻度評估方法 ..................................................... 45
第 5 章聯(lián)邦學(xué)習(xí)與大模型 ..................................................... 47
5.1聯(lián)邦大模型
....................................................................................... 48
5.
1.1 大模型預(yù)訓(xùn)練與聯(lián)邦學(xué)習(xí) ........................................................ 49
5.
1.2 大模型微調(diào)與聯(lián)邦學(xué)習(xí)............................................................ 50
5.
1.3 聯(lián)邦大模型應(yīng)用研究 ............................................................... 53
5.2聯(lián)邦遷移學(xué)習(xí)
................................................................................... 56
5.2.1 聯(lián)邦遷移學(xué)習(xí)背景 .................................................................. 56
FDKT ................................................................................... 57
5.2.2 AUG-PE................................................................................ 60
5.2.3 InferDPT............................................................................... 61
5.2.4 FedMKT................................................................................ 62
5.2.5
5.2.6 聯(lián)邦遷移學(xué)習(xí)展望 .................................................................. 63
第 6 章聯(lián)邦學(xué)習(xí)與拜占庭問題............................................... 65
6.
1聯(lián)邦學(xué)習(xí)的安全威脅 ......................................................................... 66
6.
1.1 常見的聯(lián)邦學(xué)習(xí)安全問題 ........................................................ 66
6.
1.2 拜占庭攻擊 ............................................................................ 67
6.
1.3 聯(lián)邦學(xué)習(xí)與傳統(tǒng)分布式學(xué)習(xí)中的安全問題對比 ..........................