本書是一本體系完整、算法和案例豐富的人工智能類教材。本書系統(tǒng)地講解深度學習的理論與方法，主要內容包括緒論、深度學習基礎、卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、深度序列模型、深度生成網(wǎng)絡、圖神經(jīng)網(wǎng)絡、注意力機制、深度強化學習、深度遷移學習、無監(jiān)督深度學習。本書通過豐富的實例講解方法的應用；強調深度學習的系統(tǒng)性、方法的時效性，同時針對深度學習快速發(fā)展的特點，講解深度學習的最新技術，本書配備了實例的數(shù)字化資源，供學習者下載。
本書既可以作為國內各高等學校、科研院所本科生、研究生的教材，也可以供國內外從事深度學習的研究人員和工程人員使用。
本書配有電子課件，歡迎選用本書作教材的教師登錄www.compedu.com 注冊后下載。
本書遵循教指委相關指導文件和高等院校學生學習規(guī)律編寫而成。踐行四新理念，融入思政元素，注重理論與實踐相結合。
前言
隨著科技的飛速發(fā)展，人工智能（AI）已經(jīng)成為這個時代最引人注目的科技之一。在AI的眾多分支中，深度學習（Deep Learning）憑借其強大的特征提取能力和對數(shù)據(jù)內在模式的精確建模，已經(jīng)成為推動AI技術不斷突破的關鍵力量。為此，我們編寫了這本《深度學習》教材，系統(tǒng)地介紹深度學習的理論與方法。本書旨在為讀者提供一個全面而深入的深度學習知識體系。本書從深度學習的基礎知識出發(fā)，逐步深入到各種先進的網(wǎng)絡結構和算法，力求讓讀者在掌握基本理論的同時，能夠了解深度學習的最新發(fā)展和應用。
本書由11章組成。第1章概述深度學習，介紹深度學習的發(fā)展歷史、分類及度量指標。第2章介紹深度學習基礎知識，討論深度學習相關的數(shù)學基礎知識、感知機與多層感知機，以及反向傳播算法。第3章詳細介紹卷積神經(jīng)網(wǎng)絡的基本概念、發(fā)展歷程、基本結構與部件，以及代表性模型和各種卷積。第4章闡述循環(huán)神經(jīng)網(wǎng)絡的結構以及訓練方法，著重分析長短期記憶網(wǎng)絡和門控循環(huán)單元等典型循環(huán)神經(jīng)網(wǎng)絡。第5章主要討論以序列到序列為代表的深度序列模型，分析編碼器-解碼器架構，重點論述Transformer架構及其各種變體。第6章闡述各種深度生成網(wǎng)絡，包括基于玻爾茲曼機的方法、基于變分自動編碼器的方法、基于生成對抗網(wǎng)絡的方法、基于流模型的方法、基于擴散模型的方法、基于自回歸網(wǎng)絡的方法，以及大語言模型。第7章深入討論圖神經(jīng)網(wǎng)絡的核心概念和運行機制，詳盡闡述了包括圖卷積神經(jīng)網(wǎng)絡、圖循環(huán)網(wǎng)絡和圖注意力網(wǎng)絡等典型圖神經(jīng)網(wǎng)絡。第8章介紹深度學習領域注意力機制的概念、發(fā)展歷程、分類，討論注意力模型的基本架構以及原理，以及注意力模型的性能測評。第9章主要論述深度強化學習，介紹強化學習模型和馬爾可夫決策過程，重點討論深度Q學習算法和TD算法等深度價值學習算法、策略梯度算法等深度策略學習、模仿學習以及基于人類反饋的強化學習。第10章闡述深度遷移學習，重點討論基于微調的深度遷移學習、基于凍結CNN層的深度遷移學習、基于漸進式學習的深度遷移學習，以及基于對抗的深度遷移學習，總結了每一種方法的基本實現(xiàn)思路與相關應用，并給出了常用的數(shù)據(jù)集。第11章主要論述無監(jiān)督深度學習，介紹基于掩碼的任務、基于語言模型的任務、基于時序的任務、基于對比學習的任務，以及經(jīng)典無監(jiān)督深度學習模型。
本書內容全面，體系完整，涵蓋了深度學習的基本概念、原理、算法和應用等多個方面，為讀者呈現(xiàn)完整的深度學習知識體系。本書注重理論與實踐相結合，不僅介紹了各種算法的原理，還提供了大量的實驗案例和代碼實現(xiàn)，讀者可以通過親手實踐，加深對算法的理解和掌握，提高解決實際問題的能力。隨著技術的不斷發(fā)展，機器學習領域也在不斷涌現(xiàn)新的研究成果和應用場景，本書注重跟蹤前沿動態(tài)，及時介紹最新的研究成果和趨勢。本書強調可讀性和可教性，充分考慮了讀者的閱讀體驗和教師的教學需求，同時，提供了豐富的教學資源，方便教師進行課堂教學和實驗教學。本書數(shù)字化資源豐富，學習體驗升級。作為新形態(tài)教材，本書配備了數(shù)字化資源，如實例源代碼等。這些資源不僅能夠幫助讀者更直觀地理解復雜的概念和算法，還能夠提升學習的趣味性和互動性。讀者可以通過掃描書中的二維碼或訪問指定網(wǎng)站，獲取這些數(shù)字化資源。通過本書的學習，讀者將能夠全面掌握深度學習的理論與方法，了解深度學習領域的最新研究成果和應用趨勢，為未來的研究和應用奠定堅實的基礎。期待本書能為讀者提供一個深入、系統(tǒng)的深度學習知識體系，共同推動人工智能的發(fā)展。
本書既可以作為國內各高等學校、科研院所本科生、研究生的教材，也可以供國內外從事深度學習的研究人員和工程人員使用。希望讀者通過閱讀本書，學會各種深度學習方法，體驗學習相關知識的樂趣。
本書第1~4章、第6章、第8~10章由李侃編著，第5、7、11章由孫新編著。感謝博士生王星霖、劉鑫、袁沛文、尹航、李易為、范文驍為本書所付出的辛勤工作。感謝對本書投入過心血的所有人！另外，在本書寫作和出版的過程中，機械工業(yè)出版社的編輯團隊給予了很多幫助，在此特向他們致謝。
由于筆者水平有限，書中難免有不足之處，敬請廣大讀者批評指正。
李侃
高等院校教師
目錄
序
前言
第1章緒論
1.1深度學習簡介
1.2深度學習的發(fā)展歷史
1.2.1深度學習技術的發(fā)展歷史
1.2.2深度學習產(chǎn)業(yè)應用的變遷史
1.3深度學習的分類
1.3.1任務類型
1.3.2模型類型
1.4度量指標
1.4.1回歸任務指標
1.4.2分類任務指標
1.4.3生成任務指標
本章小結
思考題與習題
參考文獻
第2章深度學習基礎
2.1線性代數(shù)
2.1.1標量和向量
2.1.2矩陣和張量
2.1.3矩陣計算
2.1.4范數(shù)
2.2微積分
2.2.1導數(shù)和微分
2.2.2偏導數(shù)和梯度
2.2.3鏈式法則
2.3概率論
2.3.1概率分布
2.3.2期望和方差
2.3.3條件概率和聯(lián)合概率
2.3.4全概率公式與貝葉斯定理
2.3.5邊緣概率分布
2.4距離與相似度計算
2.4.1常見的距離計算
2.4.2常見的相似度計算
2.5激活函數(shù)
2.6感知機與多層感知機
2.6.1感知機
2.6.2多層感知機
2.7反向傳播算法
本章小結
思考題與習題
參考文獻
第3章卷積神經(jīng)網(wǎng)絡
3.1簡介
3.1.1基本概念
3.1.2發(fā)展歷程
3.2基礎模塊
3.2.1端到端架構
3.2.2輸入層
3.2.3卷積層
3.2.4池化層
3.2.5激活層
3.2.6全連接層
3.2.7目標函數(shù)
3.3典型卷積神經(jīng)網(wǎng)絡
3.3.1LeNet-5
3.3.2AlexNet
3.3.3VGGNet
3.3.4GoogLeNet
3.3.5ResNet
3.3.6R-CNN系列
3.3.7YOLO系列
3.3.8MobileNet
3.3.9Conformer
3.4各種卷積
3.4.12D卷積
3.4.23D卷積
3.4.31×1卷積
3.4.4空間可分離卷積
3.4.5深度可分離卷積
3.4.6分組卷積
3.4.7擴張卷積
3.5卷積神經(jīng)網(wǎng)絡實例
3.5.1實例背景
3.5.2數(shù)據(jù)準備
3.5.3模型構建與訓練
3.5.4模型評估與調整
本章小結
思考題與習題
參考文獻
第4章循環(huán)神經(jīng)網(wǎng)絡
4.1循環(huán)神經(jīng)網(wǎng)絡的結構
4.2循環(huán)神經(jīng)網(wǎng)絡的訓練
4.2.1損失函數(shù)
4.2.2時間反向傳播算法
4.2.3梯度消失與梯度爆炸
4.3雙向循環(huán)神經(jīng)網(wǎng)絡與深度循環(huán)神經(jīng)網(wǎng)絡
4.4長短期記憶網(wǎng)絡
4.4.1LSTM記憶單元
4.4.2LSTM記憶方式
4.5門控循環(huán)單元
4.6遞歸神經(jīng)網(wǎng)絡
4.7雙向長短期記憶網(wǎng)絡與雙向門控循環(huán)單元
4.8應用實例
4.8.1實例背景
4.8.2基本流程
本章小結
思考題與習題
參考文獻
第5章深度序列模型
5.1深度序列模型概述
5.1.1深度序列模型結構
5.1.2序列生成模型解決的問題
5.2編碼器-解碼器架構
5.3序列到序列模型
5.4融入注意力機制的序列到序列模型
5.5Transformer架構
5.5.1Transformer的輸入
5.5.2Transformer編碼器
5.5.3Transformer解碼器
5.6Transformer變體
5.6.1Transformer的模塊變體
5.6.2Transformer的應用變體
5.7深度序列模型實例
5.7.1實例背景
5.7.2數(shù)據(jù)準備
5.7.3模型構建
5.7.4模型訓練與應用
本章小結
思考題與習題
參考文獻
第6章深度生成網(wǎng)絡
6.1深度生成模型簡介
6.2基于玻爾茲曼機的方法
6.2.1受限玻爾茲曼機
6.2.2深度置信網(wǎng)絡
6.2.3深度玻爾茲曼機
6.3基于變分自動編碼器的方法
6.3.1VAE模型的基本原理
6.3.2幾種重要的VAE結構
6.4基于生成對抗網(wǎng)絡的方法
6.4.1生成對抗網(wǎng)絡的基本原理
6.4.2生成對抗網(wǎng)絡的穩(wěn)定性研究
6.4.3生成對抗網(wǎng)絡的結構發(fā)展
6.5基于流模型的方法
6.5.1流模型的基本原理
6.5.2常規(guī)流
6.5.3流模型的衍生結構
6.6基于擴散模型的方法
6.6.1擴散模型的基本原理
6.6.2條件擴散模型的技術方案
6.7基于自回歸網(wǎng)絡的方法
6.7.1自回歸網(wǎng)絡的基本原理
6.7.2自回歸網(wǎng)絡的衍生結構
6.8大語言模型
6.8.1模型架構
6.8.2常用大模型
6.8.3預訓練大語言模型的優(yōu)化技巧
6.9深度生成模型實例
本章小結
思考題與習題
參考文獻
第7章圖神經(jīng)網(wǎng)絡
7.1圖神經(jīng)網(wǎng)絡概述
7.1.1圖神經(jīng)網(wǎng)絡的發(fā)展起源
7.1.2圖神經(jīng)網(wǎng)絡的設計
7.1.3圖神經(jīng)網(wǎng)絡計算模塊
7.2圖卷積神經(jīng)網(wǎng)絡
7.2.1基于譜的方法
7.2.2基于空間的方法
7.3圖循環(huán)網(wǎng)絡
7.3.1基于門控循環(huán)單元的方法
7.3.2基于長短期記憶網(wǎng)絡的方法
7.4圖注意力網(wǎng)絡
7.4.1基于自注意力的方法
7.4.2基于層注意力的方法
7.5圖神經(jīng)網(wǎng)絡實例
7.5.1實例背景
7.5.2數(shù)據(jù)準備
7.5.3模型構建與訓練
本章小結
思考題與習題
參考文獻
第8章注意力機制
8.1注意力機制簡介
8.1.1基本概念
8.1.2發(fā)展歷程
8.2注意力模型基本架構
8.3注意力機制分類
8.3.1一般模式注意力
8.3.2鍵值對模式注意力
8.3.3多頭注意力
8.4注意力模型
8.4.1通道&空間注意力
8.4.2混合注意力
8.4.3自注意力
8.4.4類別注意力
8.4.5時間注意力
8.4.6頻率注意力
8.4.7全局注意力
8.5注意力機制實例
8.5.1實例背景
8.5.2數(shù)據(jù)準備
8.5.3模型構建與訓練
8.5.4模型評估與調整
8.5.5實例運行結果
本章小結
思考題與習題
參考文獻
第9章深度強化學習
9.1強化學習基本概念
9.1.1強化學習基礎框架
9.1.2強化學習關鍵要素
9.1.3馬爾可夫決策過程
9.2深度價值學習
9.2.1DQN
9.2.2TD算法
9.2.3噪聲DQN
9.3深度策略學習
9.3.1策略梯度
9.3.2策略梯度理論證明
9.3.3REINFORCE算法
9.3.4Actor-Critic學習
9.3.5帶基線的策略梯度方法
9.4模仿學習
9.4.1模仿學習基礎
9.4.2逆強化學習
9.5基于人類反饋的強化學習
9.6深度強化學習實例
9.6.1實例背景
9.6.2環(huán)境準備
9.6.3模型構建
9.6.4模型訓練
本章小結
思考題與習題
參考文獻
第10章深度遷移學習
10.1遷移學習
10.1.1深度遷移學習簡介
10.1.2深度遷移學習分類
10.2基于微調的方法
10.3基于凍結CNN層的方法
10.4漸進式學習方法
10.5基于對抗思想的方法
10.6相關數(shù)據(jù)集
10.7深度遷移學習實例
10.7.1背景
10.7.2數(shù)據(jù)準備
10.7.3模型構建與訓練
本章小結
思考題與習題
參考文獻
第11章無監(jiān)督深度學習
11.1概述
11.2基于掩碼的任務
11.3基于語言模型的任務
11.4基于時序的任務
11.5基于對比學習的任務
11.6經(jīng)典無監(jiān)督深度學習模型
11.6.1掩碼自動編碼器
11.6.2BERT模型
11.6.3GPT模型
11.6.4BEiT模型
11.6.5SimCLR模型
11.7無監(jiān)督深度學習實例
11.7.1數(shù)據(jù)準備
11.7.2模型構建
11.7.3模型訓練
本章小結
思考題與習題
參考文獻
書單推薦
