本書內(nèi)容已經(jīng)外聘和清華大學(xué)黨委審讀審核通過（清委文[2025]52號(hào)）后同意安排出版。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)孤島問題嚴(yán)重阻礙了數(shù)據(jù)共享與人工智能應(yīng)用的發(fā)展。聯(lián)邦學(xué)習(xí)作為一種隱私保護(hù)的機(jī)器學(xué)習(xí)范式，允許各機(jī)構(gòu)在不泄露本地?cái)?shù)據(jù)的前提下協(xié)同訓(xùn)練全局模型，有效挖掘分散數(shù)據(jù)并降低泄露風(fēng)險(xiǎn)，推動(dòng)了人工智能在各領(lǐng)域的應(yīng)用。本書全面介紹了聯(lián)邦學(xué)習(xí)的核心概念與關(guān)鍵技術(shù)，涵蓋基礎(chǔ)知識(shí)、隱私安全、個(gè)性化學(xué)習(xí)、貢獻(xiàn)度評(píng)估、與大模型的關(guān)系、拜占庭問題及實(shí)際應(yīng)用案例。本書將幫助讀者深入理解并掌握聯(lián)邦學(xué)習(xí)這一前沿領(lǐng)域的理論與實(shí)踐，適合作為計(jì)算機(jī)科學(xué)、人工智能和機(jī)器學(xué)習(xí)等專業(yè)的教材，也可供大數(shù)據(jù)和AI應(yīng)用開發(fā)的工程師參考。

優(yōu)質(zhì)團(tuán)隊(duì)深度編撰。作者韓宇星長(zhǎng)期執(zhí)教于清華大學(xué)，楊強(qiáng)榮膺加拿大工程院及加拿大皇家學(xué)院院士，是國(guó)際聯(lián)邦學(xué)習(xí)研究的引領(lǐng)者。他們結(jié)合多年的學(xué)術(shù)研究與一線工程實(shí)踐經(jīng)驗(yàn)，系統(tǒng)呈現(xiàn)聯(lián)邦學(xué)習(xí)從基礎(chǔ)理論到前沿應(yīng)用的完整框架，讓讀者站在國(guó)內(nèi)外的視角深入理解這一隱私保護(hù)機(jī)器學(xué)習(xí)范式。理論與實(shí)踐無縫銜接。全書涵蓋聯(lián)邦學(xué)習(xí)的定義、系統(tǒng)模型與威脅模型、個(gè)性化與非獨(dú)立同分布問題、貢獻(xiàn)度評(píng)估、聯(lián)邦大模型、拜占庭安全等關(guān)鍵技術(shù)板塊，層層剖析核心原理；同時(shí)配以醫(yī)療、金融、邊緣計(jì)算、推薦系統(tǒng)等真實(shí)案例，幫助讀者將抽象算法與具體應(yīng)用緊密結(jié)合，既打牢理論基礎(chǔ)，又能快速落地工程實(shí)踐。易學(xué)易用的教學(xué)設(shè)計(jì)。遵循“知其然、知其所以然”的教學(xué)理念，全書結(jié)構(gòu)清晰、章節(jié)銜接緊湊，大量圖表與示意圖直觀呈現(xiàn)復(fù)雜體系，循序漸進(jìn)地引導(dǎo)讀者掌握聯(lián)邦學(xué)習(xí)技術(shù)，零基礎(chǔ)讀者也能逐步突破門檻。全方位應(yīng)用場(chǎng)景覆蓋。重點(diǎn)探討聯(lián)邦學(xué)習(xí)在醫(yī)療診斷、金融風(fēng)控、智能推薦、物聯(lián)網(wǎng)、自動(dòng)駕駛等多個(gè)領(lǐng)域的典型應(yīng)用，展示技術(shù)創(chuàng)新與工程實(shí)踐的結(jié)合路徑，幫助讀者了解研究動(dòng)向，打造面向未來的隱私保護(hù)型智能系統(tǒng)解決方案。

前言
在人工智能時(shí)代，各組織和機(jī)構(gòu)積累了海量的數(shù)據(jù)，然而由于競(jìng)爭(zhēng)、商業(yè)機(jī)密和隱私保護(hù)等因素，這些數(shù)據(jù)往往難以共享，形成了明顯的數(shù)據(jù)孤島現(xiàn)象。這種孤島不僅限制了數(shù)據(jù)的有效利用，還阻礙了人工智能模型的訓(xùn)練和優(yōu)化，導(dǎo)致算法性能的提升受到制約。
與此同時(shí)，隨著對(duì)數(shù)據(jù)隱私的重視，一系列數(shù)據(jù)隱私法案相繼出臺(tái)，如歐盟的《通用數(shù)據(jù)保護(hù)條例》（GDPR）和美國(guó)的《加利福尼亞州消費(fèi)者隱私法案》（CCPA）。這些法規(guī)要求企業(yè)在處理個(gè)人數(shù)據(jù)時(shí)必須遵循嚴(yán)格的隱私保護(hù)標(biāo)準(zhǔn)，確保用戶的同意和數(shù)據(jù)的安全。這使得傳統(tǒng)的集中式數(shù)據(jù)處理方法面臨諸多合規(guī)風(fēng)險(xiǎn)，企業(yè)對(duì)用戶數(shù)據(jù)的使用受到限制。
為了解決數(shù)據(jù)共享的難題，研究人員開始尋求一種新的方法，以便在不需要將所有數(shù)據(jù)集中到一個(gè)中心存儲(chǔ)點(diǎn)的情況下訓(xùn)練機(jī)器學(xué)習(xí)模型。一種可行的方法是：各個(gè)擁有數(shù)據(jù)源的機(jī)構(gòu)利用自身的數(shù)據(jù)獨(dú)立訓(xùn)練一個(gè)模型，隨后各機(jī)構(gòu)的模型間進(jìn)行信息交換，最終通過模型聚合得到一個(gè)全局模型。為了確保用戶隱私和數(shù)據(jù)安全，精心設(shè)計(jì)各機(jī)構(gòu)之間交換模型信息的過程，確保沒有任何機(jī)構(gòu)能夠推斷出其他機(jī)構(gòu)的隱私數(shù)據(jù)內(nèi)容。同時(shí)，在構(gòu)建全局模型時(shí)，使其效果與集中式訓(xùn)練的模型幾乎一致。這便是聯(lián)邦學(xué)習(xí)（Federated Learning，F(xiàn)L）提出的動(dòng)機(jī)和核心思想。
聯(lián)邦學(xué)習(xí)是一種利用分散在各參與方的數(shù)據(jù)集，通過隱私保護(hù)技術(shù)融合多方數(shù)據(jù)信息，協(xié)同構(gòu)建全局模型的分布式訓(xùn)練范式。在模型訓(xùn)練過程中，模型參數(shù)、模型結(jié)構(gòu)、參數(shù)梯度等相關(guān)信息可以在參與方之間進(jìn)行交換（可以通過明文、數(shù)據(jù)加密或添加噪聲等方式）。然而，本地訓(xùn)練數(shù)據(jù)始終留在本地，確保用戶數(shù)據(jù)的隱私不受威脅。這種機(jī)制極大地緩解了數(shù)據(jù)泄露的風(fēng)險(xiǎn)，訓(xùn)練好的聯(lián)邦學(xué)習(xí)模型可以在各數(shù)據(jù)參與方之間共享和部署使用。
聯(lián)邦學(xué)習(xí)的提出為解決數(shù)據(jù)孤島問題、提高數(shù)據(jù)利用率和保護(hù)用戶隱私提供了新思路。在未來的人工智能發(fā)展中，聯(lián)邦學(xué)習(xí)有望成為一種重要的研究方向，推動(dòng)機(jī)器學(xué)習(xí)技術(shù)在各個(gè)領(lǐng)域的廣泛應(yīng)用。隨著對(duì)聯(lián)邦學(xué)習(xí)研究的深入，它將為數(shù)據(jù)驅(qū)動(dòng)的智能決策提供有力支持，助力構(gòu)建一個(gè)更加智能化和互聯(lián)互通的世界。
本書專注于聯(lián)邦學(xué)習(xí)的全面介紹，旨在成為讀者探索這一前沿領(lǐng)域的優(yōu)選入門書籍。無論是計(jì)算機(jī)科學(xué)、人工智能還是機(jī)器學(xué)習(xí)專業(yè)的學(xué)生，抑或是從事大數(shù)據(jù)和人工智能應(yīng)用開發(fā)的工程師，都能從中受益。特別是針對(duì)本科高年級(jí)學(xué)生、研究生、大學(xué)教師以及研究機(jī)構(gòu)的研究人員，本書提供了深入的理論基礎(chǔ)與應(yīng)用方式，幫助他們掌握聯(lián)邦學(xué)習(xí)的核心概念和技術(shù)。
本書各章節(jié)內(nèi)容系統(tǒng)全面，旨在幫助讀者深入理解聯(lián)邦學(xué)習(xí)的多維度特性。第 1章回顧了聯(lián)邦學(xué)習(xí)的基本概念，包括其提出的背景、定義以及分類，幫助讀者建立初步的認(rèn)識(shí)。第 2章聚焦于隱私安全問題，這是聯(lián)邦學(xué)習(xí)研究的核心。該章詳細(xì)討論了聯(lián)邦學(xué)習(xí)面臨的隱私安全威脅及如何設(shè)計(jì)保障數(shù)據(jù)隱私和模型安全的系統(tǒng)。第 3章探討了在參與方數(shù)據(jù)具有統(tǒng)計(jì)異質(zhì)性和非獨(dú)立同分布的情況下，如何應(yīng)對(duì)全局模型泛化能力的損失，介紹了個(gè)性化聯(lián)邦學(xué)習(xí)的概念和方法。第 4章分析了如何量化各參與方在模型訓(xùn)練中所作的貢獻(xiàn)，強(qiáng)調(diào)了評(píng)估機(jī)制在激勵(lì)參與者和促進(jìn)合作中的重要性。第 5章從聯(lián)邦大模型和聯(lián)邦遷移學(xué)習(xí)兩個(gè)角度介紹了聯(lián)邦學(xué)習(xí)在大模型應(yīng)用中的潛力。第 6章討論了在聯(lián)邦學(xué)習(xí)中遇到的拜占庭問題及其對(duì)模型安全的威脅，介紹了多種解決方案，確保模型訓(xùn)練的安全性。第 7章展示了聯(lián)邦學(xué)習(xí)在現(xiàn)實(shí)世界中的具體應(yīng)用案例，體現(xiàn)了其廣泛的實(shí)用性和前景。通過這些章節(jié)，讀者將全面了解聯(lián)邦學(xué)習(xí)的理論基礎(chǔ)及其實(shí)際應(yīng)用。

本書在編撰過程中有幸得到了眾多與學(xué)生的支持和幫助，特別感謝范力欣博士、古瀚林博士對(duì)于本書提出的寶貴意見，同時(shí)感謝學(xué)生趙心遠(yuǎn)、朱公溪對(duì)本書編輯提供的幫助。由于水平有限且工作量繁多，書中理解不當(dāng)之處在所難免，懇請(qǐng)讀者批評(píng)指正。
韓宇星楊強(qiáng)
2025年 5月

韓宇星，清華大學(xué)深圳國(guó)際研究生院長(zhǎng)聘副教授、博士生導(dǎo)師。近5年發(fā)表SCI源刊論文50余篇。長(zhǎng)期從事聯(lián)邦學(xué)習(xí)的教學(xué)和科研工作，講授“聯(lián)邦學(xué)習(xí)”等課程。主持多項(xiàng)、省部級(jí)項(xiàng)目，榮獲多項(xiàng)省部級(jí)獎(jiǎng)勵(lì)。楊強(qiáng)，加拿大工程院及加拿大皇家學(xué)院院士，香港理工大學(xué)人工智能高等研究院院長(zhǎng)，香港科技大學(xué)榮休教授，微眾銀行首席人工智能官（榮休），AAAI-2021大會(huì)主席，國(guó)際人工智能聯(lián)合會(huì)理事會(huì)前主席，中國(guó)人工智能學(xué)會(huì)常務(wù)副理事長(zhǎng)。長(zhǎng)期從事聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)的教學(xué)和科研工作。近5年發(fā)表SCI源刊論文百余篇。獲2017年ACMSIGKDD杰出服務(wù)獎(jiǎng)及2023年IJCAIDonaldE.Walker杰出服務(wù)獎(jiǎng)。出版《遷移學(xué)習(xí)》、《聯(lián)邦學(xué)習(xí)》、《隱私計(jì)算》和《聯(lián)邦學(xué)習(xí)實(shí)戰(zhàn)》等著作。

目錄
第 1章聯(lián)邦學(xué)習(xí)基礎(chǔ) ..............................................................1

1.1聯(lián)邦學(xué)習(xí)概述
.....................................................................................2
1.
1.1聯(lián)邦學(xué)習(xí)背景 ...........................................................................2
1.
1.2聯(lián)邦學(xué)習(xí)定義與分類.................................................................3
1.
1.3聯(lián)邦學(xué)習(xí)發(fā)展與現(xiàn)狀.................................................................4
1.
2系統(tǒng)模型與威脅模型 ...........................................................................7
1.
2.1聯(lián)邦學(xué)習(xí)系統(tǒng)結(jié)構(gòu) ....................................................................7
1.
2.2聯(lián)邦學(xué)習(xí)威脅模型 ....................................................................8
1.
3聯(lián)邦學(xué)習(xí)系統(tǒng)目標(biāo)...............................................................................9
1.3.1隱私目標(biāo)
..................................................................................9
1.3.2安全目標(biāo)
................................................................................ 10
1.
3.3多目標(biāo)平衡 ............................................................................ 11
1.
3.4貢獻(xiàn)度評(píng)估 ............................................................................ 12
第 2章聯(lián)邦學(xué)習(xí)與隱私安全 .................................................. 14

2.
1隱私安全問題定義............................................................................. 15
2.
1.1機(jī)器學(xué)習(xí)隱私問題與安全問題.................................................. 15
2.
1.2攻擊與防護(hù)對(duì)象...................................................................... 16
2.
2聯(lián)邦學(xué)習(xí)隱私安全威脅 ...................................................................... 17
2.
2.1面向數(shù)據(jù)隱私的威脅攻擊 ........................................................ 17
2.
2.2面向模型安全的威脅攻擊 ........................................................ 19
2.
2.3面向模型版權(quán)的威脅攻擊 ........................................................ 20
2.
3聯(lián)邦學(xué)習(xí)隱私安全保護(hù)方法 ............................................................... 24
2.3.1差分隱私
................................................................................ 24
2.
3.2安全多方計(jì)算 ......................................................................... 25
2.3.3同態(tài)加密
................................................................................ 26
2.
3.4模型版權(quán)保護(hù)技術(shù) .................................................................. 27
第 3章個(gè)性化聯(lián)邦學(xué)習(xí)......................................................... 33

3.
1非獨(dú)立同分布問題與個(gè)性化學(xué)習(xí)的必要性 ........................................... 34
3.
2聯(lián)邦學(xué)習(xí)個(gè)性化方法 ......................................................................... 35
3.
2.1基于客戶端選擇的方案............................................................ 35
3.
2.2基于元學(xué)習(xí)的方案 .................................................................. 35
3.
2.3 基于正則化的方案 .................................................................. 36
3.
2.4 基于蒸餾的方案...................................................................... 37
第 4 章聯(lián)邦學(xué)習(xí)貢獻(xiàn)度評(píng)估 .................................................. 39

4.
1貢獻(xiàn)度評(píng)估的重要性與挑戰(zhàn) ............................................................... 40
4.
2貢獻(xiàn)度評(píng)估標(biāo)準(zhǔn)與公平性................................................................... 41
4.2.1 基于
Shapley值的貢獻(xiàn)評(píng)估方法 .............................................. 41
4.
2.2 基于距離的貢獻(xiàn)度評(píng)估方法 ..................................................... 41
4.2.3 評(píng)價(jià)指標(biāo)
................................................................................ 42
4.
3聯(lián)邦學(xué)習(xí)貢獻(xiàn)度評(píng)估方法................................................................... 43
4.3.1 基于
Shapley值的貢獻(xiàn)度評(píng)估方法........................................... 43
4.
3.2 基于距離的貢獻(xiàn)度評(píng)估方法 ..................................................... 45
第 5 章聯(lián)邦學(xué)習(xí)與大模型 ..................................................... 47

5.1聯(lián)邦大模型
....................................................................................... 48
5.
1.1 大模型預(yù)訓(xùn)練與聯(lián)邦學(xué)習(xí) ........................................................ 49
5.
1.2 大模型微調(diào)與聯(lián)邦學(xué)習(xí)............................................................ 50
5.
1.3 聯(lián)邦大模型應(yīng)用研究 ............................................................... 53
5.2聯(lián)邦遷移學(xué)習(xí)
................................................................................... 56
5.2.1 聯(lián)邦遷移學(xué)習(xí)背景 .................................................................. 56
FDKT ................................................................................... 57

5.2.2 AUG-PE................................................................................ 60
5.2.3 InferDPT............................................................................... 61
5.2.4 FedMKT................................................................................ 62
5.2.5
5.2.6 聯(lián)邦遷移學(xué)習(xí)展望 .................................................................. 63

第 6 章聯(lián)邦學(xué)習(xí)與拜占庭問題............................................... 65

6.
1聯(lián)邦學(xué)習(xí)的安全威脅 ......................................................................... 66
6.
1.1 常見的聯(lián)邦學(xué)習(xí)安全問題 ........................................................ 66
6.
1.2 拜占庭攻擊 ............................................................................ 67
6.
1.3 聯(lián)邦學(xué)習(xí)與傳統(tǒng)分布式學(xué)習(xí)中的安全問題對(duì)比 ..........................