第一部分　神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

第1章　嵌入、潛空間和表征 2

1.1　嵌入 2

1.2　潛空間 4

1.3　表征 4

1.4　練習(xí) 5

1.5　參考文獻(xiàn) 5

第2章　自監(jiān)督學(xué)習(xí) 6

2.1　自監(jiān)督學(xué)習(xí)與遷移學(xué)習(xí) 6

2.2　使用無(wú)標(biāo)簽數(shù)據(jù) 8

2.3　自預(yù)測(cè)與對(duì)比自監(jiān)督學(xué)習(xí) 8

2.4　練習(xí) 10

2.5　參考文獻(xiàn) 10

第3章　小樣本學(xué)習(xí) 12

3.1　數(shù)據(jù)集與術(shù)語(yǔ) 12

3.2　練習(xí) 14

第4章　彩票假設(shè) 15

4.1　彩票假設(shè)的訓(xùn)練流程 15

4.2　實(shí)際意義與局限性 16

4.3　練習(xí) 17

4.4　參考文獻(xiàn) 17

第5章　利用數(shù)據(jù)來(lái)減少過(guò)擬合現(xiàn)象 18

5.1　常用方法 18

5.1.1　采集更多數(shù)據(jù) 18

5.1.2　數(shù)據(jù)增強(qiáng) 19

5.1.3　預(yù)訓(xùn)練 20

5.2　其他方法 20

5.3　練習(xí) 21

5.4　參考文獻(xiàn) 21

第6章　通過(guò)改進(jìn)模型減少過(guò)擬合現(xiàn)象 23

6.1　常用方法 23

6.1.1　正則化 23

6.1.2　選擇更小的模型 25

6.1.3　集成方法 26

6.2　其他方法 27

6.3　選擇正則化技術(shù) 28

6.4　練習(xí) 28

6.5　參考文獻(xiàn) 28

第7章　多GPU訓(xùn)練模式 30

7.1　訓(xùn)練模式 30

7.1.1　模型并行 30

7.1.2　數(shù)據(jù)并行 31

7.1.3　張量并行 31

7.1.4　流水線并行 32

7.1.5　序列并行 33

7.2　建議 34

7.3　練習(xí) 34

7.4　參考文獻(xiàn) 34

第8章　Transformer架構(gòu)的成功 36

8.1　注意力機(jī)制 36

8.2　通過(guò)自監(jiān)督學(xué)習(xí)進(jìn)行預(yù)訓(xùn)練 37

8.3　大規(guī)模參數(shù) 38

8.4　輕松并行化 38

8.5　練習(xí) 39

8.6　參考文獻(xiàn) 39

第9章　生成式AI模型 40

9.1　生成式模型與判別式模型 40

9.2　深度生成式模型的類(lèi)型 41

9.2.1　能量模型 41

9.2.2　變分自編碼器 42

9.2.3　生成對(duì)抗網(wǎng)絡(luò) 43

9.2.4　流模型 43

9.2.5　自回歸模型 44

9.2.6　擴(kuò)散模型 45

9.2.7　一致性模型 46

9.3　建議 47

9.4　練習(xí) 47

9.5　參考文獻(xiàn) 47

第10章　隨機(jī)性的由來(lái) 48

10.1　模型權(quán)重初始化 48

10.2　數(shù)據(jù)集采樣與重排 49

10.3　非確定性算法 49

10.4　不同運(yùn)行時(shí)的算法 50

10.5　硬件與驅(qū)動(dòng)程序 51

10.6　隨機(jī)性與生成式AI 51

10.7　練習(xí) 53

10.8　參考文獻(xiàn) 53

第二部分　計(jì)算機(jī)視覺(jué)

第11章　計(jì)算參數(shù)量 56

11.1　如何計(jì)算參數(shù)量 56

11.1.1　卷積層 57

11.1.2　全連接層 58

11.2　實(shí)際應(yīng)用 59

11.3　練習(xí) 60

第12章　全連接層和卷積層 61

12.1　當(dāng)卷積核與輸入大小相同時(shí) 62

12.2　當(dāng)卷積核大小為1時(shí) 63

12.3　建議 63

12.4　練習(xí) 63

第13章　ViT架構(gòu)所需的大型訓(xùn)練集 64

13.1　CNN中的歸納偏置 64

13.2　ViT可以比CNN表現(xiàn)得更好 67

13.3　ViT中的歸納偏置 67

13.4　建議 68

13.5　練習(xí) 69

13.6　參考文獻(xiàn) 69

第三部分　自然語(yǔ)言處理

第14章　分布假設(shè) 72

14.1　Word2vec、BERT和GPT 73

14.2　假設(shè)成立嗎 74

14.3　練習(xí) 75

14.4　參考文獻(xiàn) 75

第15章　文本數(shù)據(jù)增強(qiáng) 76

15.1　同義詞替換 76

15.2　詞語(yǔ)刪除 77

15.3　詞語(yǔ)位置交換 77

15.4　句子亂序 77

15.5　噪聲注入 78

15.6　回譯 78

15.7　合成數(shù)據(jù)生成 79

15.8　建議 79

15.9　練習(xí) 80

15.10　參考文獻(xiàn) 80

第16章　自注意力 81

16.1　RNN中的注意力 81

16.2　自注意力機(jī)制 83

16.3　練習(xí) 84

16.4　參考文獻(xiàn) 84

第17章　編碼器和解碼器風(fēng)格的

Transformer架構(gòu) 85

17.1　原始的Transformer 85

17.1.1　編碼器 87

17.1.2　解碼器 88

17.2　編碼器 解碼器混合模型 89

17.3　專業(yè)術(shù)語(yǔ) 89

17.4　當(dāng)代Transformer模型 90

17.5　練習(xí) 91

17.6　參考文獻(xiàn) 91

第18章　使用和微調(diào)預(yù)訓(xùn)練

Transformer 92

18.1　使用Transformer執(zhí)行分類(lèi)任務(wù) 92

18.2　上下文學(xué)習(xí)、索引和提示詞調(diào)優(yōu) 94

18.3　參數(shù)高效的微調(diào)方法 97

18.4　基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí) 102

18.5　適配預(yù)訓(xùn)練語(yǔ)言模型 102

18.6　練習(xí) 103

18.7　參考文獻(xiàn) 103

第19章　評(píng)測(cè)生成式大模型 104

19.1　大模型的評(píng)測(cè)指標(biāo) 104

19.1.1　困惑度 105

19.1.2　BLEU 106

19.1.3　ROUGE 107

19.1.4　BERTScore 109

19.2　替代指標(biāo) 110

19.3　練習(xí) 110

19.4　參考文獻(xiàn) 110

第四部分　生產(chǎn)與部署

第20章　無(wú)狀態(tài)訓(xùn)練與有狀態(tài)訓(xùn)練 114

20.1　無(wú)狀態(tài)（重）訓(xùn)練 114

20.2　有狀態(tài)訓(xùn)練 115

20.3　練習(xí) 115

第21章　以數(shù)據(jù)為中心的人工智能 117

21.1　以數(shù)據(jù)為中心的人工智能與以模型

為中心的人工智能 117

21.2　建議 119

21.3　練習(xí) 119

21.4　參考文獻(xiàn) 120

第22章　加速推理 121

22.1　并行化 121

22.2　向量化 122

22.3　循環(huán)分塊 123

22.4　算子融合 123

22.5　量化 124

22.6　練習(xí) 125

22.7　參考文獻(xiàn) 125

第23章　數(shù)據(jù)分布偏移 126

23.1　協(xié)變量偏移 126

23.2　標(biāo)簽偏移 127

23.3　概念偏移 128

23.4　領(lǐng)域偏移 128

23.5　數(shù)據(jù)分布偏移的類(lèi)型 129

23.6　練習(xí) 130

23.7　參考文獻(xiàn) 130

第五部分　預(yù)測(cè)性能與模型評(píng)測(cè)

第24章　泊松回歸與序回歸 132

第25章　置信區(qū)間 134

25.1　定義置信區(qū)間 134

25.2　方法 136

25.2.1　方法1：正態(tài)近似區(qū)間 136

25.2.2　方法2：使用自助法構(gòu)建

訓(xùn)練集 137

25.2.3　方法3：使用自助抽樣法

構(gòu)建測(cè)試集預(yù)測(cè)結(jié)果 139

25.2.4　方法4：使用不同的隨機(jī)

種子重新訓(xùn)練模型 140

25.3　練習(xí) 141

25.4　參考文獻(xiàn) 141

第26章　置信區(qū)間與共形預(yù)測(cè) 142

26.1　置信區(qū)間和預(yù)測(cè)區(qū)間 142

26.2　預(yù)測(cè)區(qū)間與共形預(yù)測(cè) 143

26.3　預(yù)測(cè)區(qū)域、預(yù)測(cè)區(qū)間與預(yù)測(cè)集合 143

26.4　計(jì)算共形預(yù)測(cè) 143

26.5　共形預(yù)測(cè)示例 145

26.6　共形預(yù)測(cè)的優(yōu)點(diǎn) 146

26.7　建議 146

26.8　練習(xí) 146

26.9　參考文獻(xiàn) 147

第27章　合適的模型度量 148

27.1　標(biāo)準(zhǔn) 148

27.2　均方誤差 149

27.3　交叉熵?fù)p失 150

27.4　練習(xí) 151

第28章　k折交叉驗(yàn)證中的k 152

28.1　選擇k值時(shí)的權(quán)衡考量 153

28.2　確定適當(dāng)?shù)膋值 154

28.3　練習(xí) 154

28.4　參考文獻(xiàn) 155

第29章　訓(xùn)練集和測(cè)試集的不一致性 156

第30章　有限的有標(biāo)簽數(shù)據(jù) 158

30.1　利用有限的有標(biāo)簽數(shù)據(jù)提高模型

性能 158

30.1.1　標(biāo)注更多數(shù)據(jù) 158

30.1.2　自助抽樣數(shù)據(jù) 158

30.1.3　遷移學(xué)習(xí) 159

30.1.4　自監(jiān)督學(xué)習(xí) 159

30.1.5　主動(dòng)學(xué)習(xí) 160

30.1.6　小樣本學(xué)習(xí) 160

30.1.7　元學(xué)習(xí) 161

30.1.8　弱監(jiān)督學(xué)習(xí) 161

30.1.9　半監(jiān)督學(xué)習(xí) 162

30.1.10　自訓(xùn)練 163

30.1.11　多任務(wù)學(xué)習(xí) 163

30.1.12　多模態(tài)學(xué)習(xí) 164

30.1.13　歸納偏置 165

30.2　建議 165

30.3　練習(xí) 167

30.4　參考文獻(xiàn) 167

后記 168

附錄　練習(xí)答案 169