目錄

序
前言
主要符號表

第1章　引言 1
1.1　深度學(xué)習(xí)的起源與發(fā)展 1
1.1.1　深度學(xué)習(xí)的起源 1
1.1.2　深度學(xué)習(xí)的發(fā)展 2
1.2　深度學(xué)習(xí)與機器學(xué)習(xí)、人工智能的關(guān)系 4
1.2.1　人工智能 4
1.2.2　機器學(xué)習(xí) 4
1.2.3　深度學(xué)習(xí) 5
1.3　深度學(xué)習(xí)的基本概念和典型算法 6
1.3.1　深度學(xué)習(xí)的基本概念 6
1.3.2　典型深度學(xué)習(xí)算法 6
1.4　深度學(xué)習(xí)的主要應(yīng)用概述 12
1.4.1　深度學(xué)習(xí)在計算機視覺領(lǐng)域的應(yīng)用 12
1.4.2　深度學(xué)習(xí)在語音處理領(lǐng)域的應(yīng)用 13
1.4.3　深度學(xué)習(xí)在自然語言處理領(lǐng)域的應(yīng)用 14
1.4.4　深度學(xué)習(xí)在多模態(tài)處理領(lǐng)域的應(yīng)用 14
1.5　本書的組織結(jié)構(gòu) 14
復(fù)習(xí)題 15
參考文獻 15
本章人物：Geoffrey Hinton教授 18

第2章　卷積神經(jīng)網(wǎng)絡(luò) 19
2.1　卷積神經(jīng)網(wǎng)絡(luò)的起源與發(fā)展 19
2.1.1　卷積神經(jīng)網(wǎng)絡(luò)的起源 19
2.1.2　卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展 20
2.2　卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu) 21
2.2.1　卷積層 21
2.2.2　激活函數(shù) 26
2.2.3　池化層 30
2.2.4　全連接層 30
2.2.5　輸出層 30
2.3　卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 31
2.3.1　卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程 31
2.3.2　池化層的訓(xùn)練 31
2.3.3　卷積層的訓(xùn)練 33
2.4　典型卷積神經(jīng)網(wǎng)絡(luò) 35
2.4.1　LeNet-5 35
2.4.2　AlexNet 37
2.4.3　VGGNet 39
2.4.4　GoogleNet 41
2.4.5　ResNet 42
2.5　卷積神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用 43
2.5.1　目標(biāo)檢測 43
2.5.2　圖像分割 52
2.5.3　姿態(tài)估計 56
2.5.4　人臉識別 58
復(fù)習(xí)題 62
實驗題 62
參考文獻 63
本章人物：Yann LeCun教授 65

第3章　循環(huán)神經(jīng)網(wǎng)絡(luò) 66
3.1　循環(huán)神經(jīng)網(wǎng)絡(luò)的起源與發(fā)展 66
3.2　循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 67
3.3　長短期記憶網(wǎng)絡(luò) 70
3.4　循環(huán)神經(jīng)網(wǎng)絡(luò)的變種 73
3.4.1　GRU 73
3.4.2　雙向RNN 75
3.4.3　堆疊RNN 75
3.5　循環(huán)神經(jīng)網(wǎng)絡(luò)的典型應(yīng)用 76
3.5.1　語言模型 76
3.5.2　自動文本摘要 79
3.5.3　機器閱讀理解 82
復(fù)習(xí)題 85
實驗題 86
參考文獻 86
本章人物：Jürgen Schmidhuber教授 89

第4章　Transformer 90
4.1　注意力機制 90
4.1.1　注意力機制的Encoder-Decoder結(jié)構(gòu) 90
4.1.2　注意力機制的分類 92
4.2　Transformer概述 93
4.2.1　Transformer的結(jié)構(gòu) 93
4.2.2　Transformer的輸入編碼 94
4.2.3　Transformer中的自注意力機制 95
4.2.4　Transformer中的其他細(xì)節(jié) 98
4.2.5　基于Transformer的大規(guī)模預(yù)訓(xùn)練模型 99
4.3　GPT系列模型 99
4.3.1　GPT-1 99
4.3.2　GPT-2 101
4.3.3　GPT-3 102
4.3.4　InstructGPT和ChatGPT 103
4.4　BERT系列模型 104
4.4.1　與其他大規(guī)模預(yù)訓(xùn)練模型的區(qū)別 105
4.4.2　BERT的架構(gòu)與參數(shù) 105
4.4.3　BERT的輸入表示 105
4.4.4　BERT的訓(xùn)練 107
4.4.5　BERT的變種 107
4.5　Swin Transformer 109
4.5.1　Swin Transformer的提出 109
4.5.2　Swin Transformer結(jié)構(gòu) 109
4.5.3　Swin Transformer的滑動窗口機制 111
4.6　Transformer的主要應(yīng)用 112
4.6.1　自然語言處理領(lǐng)域 112
4.6.2　計算機視覺領(lǐng)域 117
4.6.3　多模態(tài)領(lǐng)域 121
復(fù)習(xí)題 128
實驗題 128
參考文獻 128
本章人物：Yoshua Bengio教授 131

第5章　生成對抗網(wǎng)絡(luò) 132
5.1　GAN的基本原理 132
5.1.1　零和博弈 132
5.1.2　GAN的基本結(jié)構(gòu) 133
5.1.3　GAN的目標(biāo)函數(shù) 134
5.1.4　GAN的訓(xùn)練 134
5.2　GAN的優(yōu)化與改進 135
5.2.1　限定條件優(yōu)化 136
5.2.2　迭代式生成優(yōu)化 138
5.2.3　結(jié)構(gòu)優(yōu)化 141
5.3　GAN的主要應(yīng)用 143
5.3.1　圖像生成 143
5.3.2　圖像轉(zhuǎn)換 144
5.3.3　圖像超分辨率重建 147
5.3.4　音樂生成 148
5.3.5　異常檢測 152
復(fù)習(xí)題 156
實驗題 156
參考文獻 156
本章人物：Ian Goodfellow博士 158

第6章　深度生成模型 159
6.1　深度生成模型概述 159
6.2　Hopfield神經(jīng)網(wǎng)絡(luò) 160
6.3　玻爾茲曼機與受限玻爾茲曼機 162
6.3.1　玻爾茲曼機 162
6.3.2　受限玻爾茲曼機 163
6.4　Sigmoid信念網(wǎng)絡(luò)與深度信念網(wǎng)絡(luò) 165
6.4.1　Sigmoid信念網(wǎng)絡(luò) 165
6.4.2　深度信念網(wǎng)絡(luò) 166
6.5　深度玻爾茲曼機 167
6.6　自編碼器及其變種 169
6.6.1　自編碼器 169
6.6.2　降噪自編碼器 170
6.6.3　稀疏自編碼器 170
6.6.4　深度自編碼器 171
6.7　擴散模型 172
6.7.1　前向過程 173
6.7.2　逆向過程 174
6.7.3　DDPM的訓(xùn)練 176
6.8　深度生成模型的應(yīng)