深度學習是人工智能中的核心問題之一，本書較系統(tǒng)地介紹了深度學習的基本內容，共15章，分別為概述、前饋神經網絡、卷積神經網絡、循環(huán)神經網絡、深度殘差神經網絡、Transformer模型、生成對抗網絡、深度信念網絡、膠囊神經網絡、自編碼器、強化學習、脈沖神經網絡、遷移學習、元學習和大語言模型。
本書注重基本概念、基本方法、基本模型和基本應用的介紹，并通過應用實例來說明深度學習模型與算法，語言精練，邏輯層次清晰，內容先進實用，可以作為大學深度學習課程的教材，也可以作為應用深度學習的科技人員的參考書。
通過應用實例來說明深度學習模型與算法，語言精練，邏輯層次清晰，內容先進實用，可以作為大學深度學習課程的教材，也可以作為應用深度學習的科技人員的參考書。
深度學習由著名計算機科學家Geoffrey Hinton等在2006年提出，是基于機器學習延伸出來的一個新領域。它是以神經網絡算法為起源，伴隨大數(shù)據(jù)的出現(xiàn)和計算機算力的提升而產生的一系列新的模型與算法。深度學習已成功應用在自然語言處理、語音識別、圖像處理與計算機視覺等領域，并在研究與應用上取得了突破性的進展。
人工神經網絡是基于生理學的仿真模型，它通過調整其內部大量節(jié)點之間的相互連接來達到信息處理的目的，并具有自學習和自適應的能力，是連接主義學派的典型代表。
深度學習的出現(xiàn)基本上解決了一對一映射的問題，因此出現(xiàn)了AlexNet里程碑式的研究成果。但是，單一的深度學習不能解決序列決策問題，強化學習的出現(xiàn)使序列決策問題的解決取得了新的進展。
深度學習利用深度神經網絡特有的感知能力對目標的特征進行提取與識別，其卷積核等同于濾波器，從而完成對物體的分類和檢測等。深度學習與強化學習融合產生了深度強化學習。深度強化學習結合了深度學習的感知能力和強化學習的決策能力，克服了強化學習只適用于狀態(tài)為離散而且低維的缺陷，可直接從高維原始數(shù)據(jù)學習控制策略。但是，深度強化學習過度依賴巨量的訓練，并且需要精確的獎賞。然而對于現(xiàn)實世界的很多問題，并沒有好的獎賞，也沒辦法無限量訓練，而是需要快速學習的方法。
為了降低深度神經網絡模型訓練所需的數(shù)據(jù)量，引入了遷移學習的思想，從而誕生了深度遷移學習技術。深度遷移學習是指利用數(shù)據(jù)、任務或模型之間的相似性，將在源領域學習過的模型，應用于新領域的一種學習過程。通過將訓練好的模型遷移到類似場景，實現(xiàn)只需少量的訓練數(shù)據(jù)就可以達到較好的效果。
元學習是學習的學習，深度元學習面向的不是學習的結果，而是學習的過程。其學習的不是一個直接用于預測的模型，而是學習如何更快更好地學習一個模型。在模型比較中，一個良好的模型能夠很好地適應或推廣到在訓練期間從未遇到過的新任務和新環(huán)境，這就是元學習也稱為學習的學習的原因。
正在發(fā)展中的脈沖神經網絡是源于生物啟發(fā)的新一代人工神經網絡模型，屬于深度學習的子集，且具有較強的生物基礎支撐。脈沖神經網絡中的動態(tài)神經元不是在每一次迭代傳播中都被激活，而是在它的膜電位達到某一個特定值時被激活。當一個神經元被激活時，它將產生一個信號傳遞給其他神經元，同時提高或降低自身的膜電位。眾多學者對深度學習的發(fā)展做出了卓越的貢獻，他們研發(fā)出了卷積神經網絡、Transformer模型和深度信念網絡等優(yōu)秀模型，這些模型的出現(xiàn)推動了深度學習的發(fā)展。由于篇幅所限，本書僅介紹主要的深度神經網絡模型。
大語言模型可以處理多種自然語言任務，如文本分類、問答、翻譯等，是通向人工智能的重要途徑之一。本書第15章簡要介紹了大語言模型的結構與應用。
本書從教材角度構建了內容與體例。全書共15章，分別為概述、前饋神經網絡、卷積神經網絡、循環(huán)神經網絡、深度殘差神經網絡、Transformer模型、生成對抗網絡、深度信念網絡、膠囊神經網絡、自編碼器、強化學習、脈沖神經網絡、遷移學習、元學習和大語言模型。本書注重基本概念、基本方法、基本模型和基本應用的介紹。如果需要更深入地學習與了解深度學習，可以參考更深入、更全面的有關文獻。
本書在結構上呈積木狀，各章內容獨立論述。由于作者水平有限，書中不足之處在所難免，敬請讀者批評指正。
2025年2月
第1章概述/1
1.1深度學習的發(fā)展過程2
1.1.1深度學習的起源2
1.1.2深度學習的發(fā)展3
1.1.3深度學習的爆發(fā)3
1.2機器學習基礎4
1.2.1機器學習方式5
1.2.2機器學習的主要流派與演化過程9
1.2.3泛化能力與增強方法10
1.2.4模型性能評價指標13
1.2.5相似性度量與誤差計算15
1.3神經網絡模型基礎21
1.3.1神經網絡模型及特點21
1.3.2學習方式與學習規(guī)則26
1.3.3深度學習模型34
1.4計算圖38
1.4.1計算圖的基本組成部分38
1.4.2構建計算圖的過程38
1.4.3計算圖的優(yōu)勢39
本章小結39
第2章前饋神經網絡/40
2.1分類模型40
2.1.1分類系統(tǒng)40
2.1.2判別函數(shù)41
2.1.3線性不可分的分類42
2.2感知機43
2.2.1離散感知機43
2.2.2連續(xù)感知機45
2.3BP神經網絡47
2.3.1多層感知機結構47
2.3.2誤差反向傳播算法48
2.3.3Dropout方法53
2.3.4回歸神經網絡53
本章小結55
第3章卷積神經網絡/57
3.1卷積神經網絡的產生57
3.1.1問題的提出58
3.1.2卷積神經網絡的特點58
3.2卷積神經網絡的結構59
3.2.1CNN的系統(tǒng)結構60
3.2.2輸入層60
3.2.3卷積層62
3.2.4池化層68
3.2.5輸出層69
3.3卷積神經網絡的訓練71
3.3.1CNN的訓練過程71
3.3.2CNN的正向傳播過程72
3.3.3CNN的反向傳播過程72
3.3.4CNN的權值更新73
3.4逆卷積神經網絡75
3.4.1逆池化與逆卷積76
3.4.2逆池化運算76
3.4.3逆卷積運算77
3.5卷積神經網絡的應用79
3.5.1CNN應用特點79
3.5.2CNN的應用領域80
本章小結80
第4章循環(huán)神經網絡/81
4.1循環(huán)神經網絡概述81
4.1.1循環(huán)神經網絡原理82
4.1.2循環(huán)神經網絡的記憶能力82
4.2循環(huán)神經網絡的結構83
4.2.1埃爾曼神經網絡83
4.2.2單向循環(huán)神經網絡83
4.2.3雙向循環(huán)神經網絡87
4.2.4BPTT算法88
4.2.5堆疊循環(huán)神經網絡91
4.3RNN的I/O模式91
4.3.1序列到類別模式91
4.3.2同步的序列到序列模式92
4.3.3異步的序列到序列模式92
4.4長短期記憶模型93
4.4.1RNN的記憶能力與長期依賴93
4.4.2LSTM結構94
4.4.3模型參數(shù)的調節(jié)方法96
4.5基于RNN的語言模型97
4.5.1文本處理的編碼解碼框架97
4.5.2注意力模型98
4.5.3BiRNN注意力模型102
4.5.4詞嵌入與詞嵌入算法102
本章小結108
第5章深度殘差神經網絡/109
5.1深度殘差神經網絡基礎109
5.1.1逐層歸一化109
5.1.2殘差與殘差分析111
5.1.3深度殘差網絡的提出112
5.2殘差模塊112
5.2.1殘差模塊的結構112
5.2.2殘差模塊的類型114
5.2.3殘差模塊的優(yōu)勢116
5.3ResNet模型117
5.3.1ResNet結構117
5.3.2ResNet參數(shù)解析118
5.4DenseNet網絡121
5.4.1DenseNet網絡結構121
5.4.2DenseNet與ResNet的比較122
5.5深度殘差收縮網絡123
5.5.1深度殘差收縮網絡的結構124
5.5.2軟閾值化124
5.5.3深度殘差收縮網絡的殘差模塊125
本章小結125
第6章Transformer模型/127
6.1Transformer模型的特點與自注意力機制127
6.1.1Transformer模型的特點127
6.1.2自注意力機制128
6.1.3多頭注意力機制134
6.2Transformer模型結構138
6.2.1Transformer模型總體架構138
6.2.2位置向量139
6.2.3編碼器塊140
6.2.4解碼器塊142
6.3Transformer模型的工作過程與訓練147
6.3.1Transformer模型的工作過程147
6.3.2Transformer模型的訓練153
6.3.3Transformer模型的并行訓練與測試155
本章小結157
第7章生成對抗網絡/158
7.1GAN概述158
7.1.1GAN的產生背景158
7.1.2GAN的基本原理159
7.2GAN算法流程160
7.2.1GAN工作過程160
7.2.2GAN結構162
7.3GAN訓練163
7.3.1GAN訓練特點163
7.3.2GAN訓練過程163
7.3.3損失函數(shù)164
7.3.4GAN優(yōu)化166
7.3.5條件生成對抗網絡168
7.4多種形式的GAN168
7.4.1多判別器單生成器模型168
7.4.2單判別器多生成器模型169
7.4.3多判別器多生成器模型169
7.5GAN的優(yōu)點和應用場景170
7.5.1GAN的優(yōu)點170
7.5.2GAN的應用場景170
本章小結172
第8章深度信念網絡/173
8.1DBN的產生與發(fā)展173
8.1.1DBN的產生173
8.1.2DBN的發(fā)展173
8.2玻爾茲曼機與受限玻爾茲曼機174
8.2.1玻爾茲曼機174
8.2.2受限玻爾茲曼機177
8.2.3受限玻爾茲曼機訓練181
8.3DBN的結構與訓練183
8.3.1DBN的結構183
8.3.2DBN的訓練184
本章小結188
第9章膠囊神經網絡/189
9.1膠囊神經網絡的產生背景189
9.1.1CNN的缺陷189
9.1.2膠囊方法的提出190
9.2膠囊方法原理190
9.2.1膠囊190
9.2.2膠囊工作過程194
9.3膠囊間動態(tài)路由算法196
9.3.1膠囊間動態(tài)路由計算197
9.3.2膠囊間動態(tài)路由算法的描述198
9.4膠囊神經網絡架構舉例204
9.4.1手寫數(shù)字識別的簡單膠囊網絡架構204
9.4.2CapsNet膠囊神經網絡架構205
本章小結208
第10章自編碼器/209
10.1自編碼器概述209
10.1.1表征學習209
10.1.2自編碼器工作原理210
10.2常用自編碼器212
10.2.1欠完備的自編碼器213
10.2.2稀疏自編碼器214
10.2.3棧式自編碼器215
10.2.4去噪自編碼器219
10.2.5變分自編碼器221
10.3深度自編碼器224
10.3.1基于多層BP網絡的深度自編碼器224
10.3.2基于CNN的深度自編碼器225
10.4深度自編碼器應用226
10.4.1主要應用場景226
10.4.2典型應用226
本章小結227
第11章強化學習/228
11.1強化學習原理229
11.1.1智能體及其特性229
11.1.2RL模型與工作過程230
11.1.3RL算法分類232
11.2SARSA算法234
11.2.1SARSA算法基本原理234
11.2.2SARSA算法流程236
11.2.3SARSA(λ)算法238
11.3QLearning算法240
11.3.1QLearning算法基本原理240
11.3.2QLearning算法流程242
11.3.3QLearning算法與SARSA算法的比較243
11.4策略梯度算法244
11.4.1基于價值的RL算法的局限性244
11.4.2基于策略的算法244
11.4.3蒙特卡洛策略梯度過程244
11.5ActorCritic算法245
11.5.1ActorCritic算法的基本原理245
11.5.2ActorCritic算法流程246
11.6強化學習算法247
11.6.1深度Q網絡算法247
11.6.2深度確定性策略梯度算法248
11.7RL的應用249
11.7.1RL應用的方法249
11.7.2RL應用的流程250
11.7.3RL應用的領域250
本章小結251
第12章脈沖神經網絡/252
12.1脈沖神經元252
12.1.1類腦計算252
12.1.2SNN與脈沖神經元253
12.1.3SNN的特點257
12.2SNN的結構與編碼258
12.2.1SNN的結構258
12.2.2信號轉換259
12.3SNN數(shù)據(jù)集與工作負載261
12.3.1ANN數(shù)據(jù)集與SNN數(shù)據(jù)集261
12.3.2工作負載262
12.3.3SNN評價263
12.4SNN的訓練264
12.4.1SNN的無監(jiān)督學習264
12.4.2SNN的監(jiān)督學習267
12.4.3SNN的強化學習與進化方法269
本章小結270
第13章遷移學習/271
13.1遷移學習概述271
13.1.1同分布數(shù)據(jù)271
13.1.2遷移學習原理273
13.2遷移學習分類與實現(xiàn)275
13.2.1遷移學習分類準則275
13.2.2典型的遷移學習277
13.2.3遷移學習的實現(xiàn)280
13.3深度遷移學習281
13.3.1深度網絡的可遷移性281
13.3.2深度遷移學習的自適應方法285
13.3.3生成對抗遷移網絡289
13.4遷移學習的應用場景與方法291
13.4.1遷移學習的應用場景292
13.4.2遷移學習的方法292
本章小結293
第14章元學習/294
14.1元學習概述294
14.1.1元學習的基本原理294
14.1.2元學習的基本特點295
14.2元學習方法297
14.2.1元學習的主要工作297
14.2.2元學習的過程300
14.3MAML模型302
14.3.1MAML的相關概念302
14.3.2MAML算法分析304
14.3.3MAML算法流程305
14.4小樣本學習307
14.4.1問題的提出與先驗范式的構建307
14.4.2小樣本學習方法308
14.4.3小樣本相似度學習311
本章小結314
第15章大語言模型/315
15.1大語言模型的產生與發(fā)展315
15.1.1語言模型的發(fā)展315
15.1.2語言模型的分類320
15.1.3大語言模型的特性與技術突破320
15.2預訓練語言模型322
15.2.1常見的預訓練語言模型322
15.2.2預訓練模型的訓練325
15.2.3預訓練語言模型架構331
15.3大語言模型類型與涌現(xiàn)能力335
15.3.1靜態(tài)詞向量與動態(tài)詞向量335
15.3.2大語言模型類型劃分336
15.3.3大語言模型的擴展法則與涌現(xiàn)能力337
15.4GPT大語言模型341
15.4.1GPT大語言模型結構與訓練過程341
15.4.2ChatGPT的功能與特性347
15.4.3稀疏注意力模式350
15.4.4人類反饋強化學習352
15.4.5近端策略優(yōu)化算法355
15.4.6提示詞工程359
15.5DeepSeek大語言模型365
15.5.1DeepSeek定位365
15.5.2DeepSeek核心技術365
15.5.3DeepSeek訓練與部署366
15.5.4DeepSeek行業(yè)應用367
本章小結367
參考文獻/368
書單推薦
