第 1 章 JAX從零開始 1
1.1 JAX來(lái)了 1
1.1.1 JAX是什么 1
1.1.2 為什么是JAX 2
1.2 JAX的安裝與使用 3
1.2.1 Windows Subsystem for Linux的安裝 3
1.2.2 JAX的安裝和驗(yàn)證 7
1.2.3 PyCharm的下載與安裝 8
1.2.4 使用PyCharm和JAX 9
1.2.5 JAX的Python代碼小練習(xí)：計(jì)算SeLU函數(shù) 11
1.3 JAX實(shí)戰(zhàn)MNIST手寫體的識(shí)別 12
1.3.1 第一步：準(zhǔn)備數(shù)據(jù)集 12
1.3.2 第二步：模型的設(shè)計(jì) 13
1.3.3 第三步：模型的訓(xùn)練 13
1.4 本章小結(jié) 15
第2章 一學(xué)就會(huì)的線性回歸、多層感知機(jī)與自動(dòng)微分器 16
2.1 多層感知機(jī) 16
2.1.1 全連接層多層感知機(jī)的隱藏層 16
2.1.2 使用JAX實(shí)現(xiàn)一個(gè)全連接層 17
2.1.3 更多功能的全連接函數(shù) 19
2.2 JAX實(shí)戰(zhàn)鳶尾花分類 22
2.2.1 鳶尾花數(shù)據(jù)準(zhǔn)備與分析 23
2.2.2 模型分析采用線性回歸實(shí)戰(zhàn)鳶尾花分類 24
2.2.3 基于JAX的線性回歸模型的編寫 25
2.2.4 多層感知機(jī)與神經(jīng)網(wǎng)絡(luò) 27
2.2.5 基于JAX的激活函數(shù)、softmax函數(shù)與交叉熵函數(shù) 29
2.2.6 基于多層感知機(jī)的鳶尾花分類實(shí)戰(zhàn) 31
2.3 自動(dòng)微分器 35
2.3.1 什么是微分器 36
2.3.2 JAX中的自動(dòng)微分 37
2.4 本章小結(jié) 38
第3章 深度學(xué)習(xí)的理論基礎(chǔ) 39
3.1 BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 39
3.2 BP神經(jīng)網(wǎng)絡(luò)兩個(gè)基礎(chǔ)算法詳解 42
3.2.1 最小二乘法詳解 43
3.2.2 道士下山的故事梯度下降算法 44
3.2.3 最小二乘法的梯度下降算法以及JAX實(shí)現(xiàn) 46
3.3 反饋神經(jīng)網(wǎng)絡(luò)反向傳播算法介紹 52
3.3.1 深度學(xué)習(xí)基礎(chǔ) 52
3.3.2 鏈?zhǔn)角髮?dǎo)法則 53
3.3.3 反饋神經(jīng)網(wǎng)絡(luò)原理與公式推導(dǎo) 54
3.3.4 反饋神經(jīng)網(wǎng)絡(luò)原理的激活函數(shù) 59
3.3.5 反饋神經(jīng)網(wǎng)絡(luò)原理的Python實(shí)現(xiàn) 60
3.4 本章小結(jié) 64
第4章 XLA與JAX一般特性 65
4.1 JAX與XLA 65
4.1.1 XLA如何運(yùn)行 65
4.1.2 XLA如何工作 67
4.2 JAX一般特性 67
4.2.1 利用JIT加快程序運(yùn)行 67
4.2.2 自動(dòng)微分器grad函數(shù) 68
4.2.3 自動(dòng)向量化映射vmap函數(shù) 70
4.3 本章小結(jié) 71
第5章 JAX的高級(jí)特性 72
5.1 JAX與NumPy 72
5.1.1 像NumPy一樣運(yùn)行的JAX 72
5.1.2 JAX的底層實(shí)現(xiàn)lax 74
5.1.3 并行化的JIT機(jī)制與不適合使用JIT的情景 75
5.1.4 JIT的參數(shù)詳解 77
5.2 JAX程序的編寫規(guī)范要求 78
5.2.1 JAX函數(shù)必須要為純函數(shù) 79
5.2.2 JAX中數(shù)組的規(guī)范操作 80
5.2.3 JIT中的控制分支 83
5.2.4 JAX中的if、while、for、scan函數(shù) 85
5.3 本章小結(jié) 89
第6章 JAX的一些細(xì)節(jié) 90
6.1 JAX中的數(shù)值計(jì)算 90
6.1.1 JAX中的grad函數(shù)使用細(xì)節(jié) 90
6.1.2 不要編寫帶有副作用的代碼JAX與NumPy的差異 93
6.1.3 一個(gè)簡(jiǎn)單的線性回歸方程擬合 94
6.2 JAX中的性能提高 98
6.2.1 JIT的轉(zhuǎn)換過(guò)程 98
6.2.2 JIT無(wú)法對(duì)非確定參數(shù)追蹤 100
6.2.3 理解JAX中的預(yù)編譯與緩存 102
6.3 JAX中的函數(shù)自動(dòng)打包器vmap 102
6.3.1 剝洋蔥對(duì)數(shù)據(jù)的手工打包 102
6.3.2 剝甘藍(lán)JAX中的自動(dòng)向量化函數(shù)vmap 104
6.3.3 JAX中高階導(dǎo)數(shù)的處理 105
6.4 JAX中的結(jié)構(gòu)體保存方法Pytrees 106
6.4.1 Pytrees是什么 106
6.4.2 常見的pytree函數(shù) 107
6.4.3 深度學(xué)習(xí)模型參數(shù)的控制（線性模型） 108
6.4.4 深度學(xué)習(xí)模型參數(shù)的控制（非線性模型） 113
6.4.5 自定義的Pytree節(jié)點(diǎn) 113
6.4.6 JAX數(shù)值計(jì)算的運(yùn)行機(jī)制 115
6.5 本章小結(jié) 117
第7章 JAX中的卷積 118
7.1 什么是卷積 118
7.1.1 卷積運(yùn)算 119
7.1.2 JAX中的一維卷積與多維卷積的計(jì)算 120
7.1.3 JAX.lax中的一般卷積的計(jì)算與表示 122
7.2 JAX實(shí)戰(zhàn)基于VGG架構(gòu)的MNIST數(shù)據(jù)集分類 124
7.2.1 深度學(xué)習(xí)Visual Geometry Group（VGG）架構(gòu) 124
7.2.2 VGG中使用的組件介紹與實(shí)現(xiàn) 126
7.2.3 基于VGG6的MNIST數(shù)據(jù)集分類實(shí)戰(zhàn) 129
7.3 本章小結(jié) 133
第8章 JAX與TensorFlow的比較與交互 134
8.1 基于TensorFlow的MNIST分類 134
8.2 TensorFlow與JAX的交互 137
8.2.1 基于JAX的TensorFlow Datasets數(shù)據(jù)集分類實(shí)戰(zhàn) 137
8.2.2 TensorFlow Datasets數(shù)據(jù)集庫(kù)簡(jiǎn)介 141
8.3 本章小結(jié) 145
第9章 遵循JAX函數(shù)基本規(guī)則下的自定義函數(shù) 146
9.1 JAX函數(shù)的基本規(guī)則 146
9.1.1 使用已有的原語(yǔ) 146
9.1.2 自定義的JVP以及反向VJP 147
9.1.3 進(jìn)階jax.custom_jvp和jax.custom_vjp函數(shù)用法 150
9.2 Jaxpr解釋器的使用 153
9.2.1 Jaxpr tracer 153
9.2.2 自定義的可以被Jaxpr跟蹤的函數(shù) 155
9.3 JAX維度名稱的使用 157
9.3.1 JAX的維度名稱 157
9.3.2 自定義JAX中的向量Tensor 158
9.4 本章小結(jié) 159
第10章 JAX中的高級(jí)包 160
10.1 JAX中的包 160
10.1.1 jax.numpy的使用 161
10.1.2 jax.nn的使用 162
10.2 jax.experimental包和jax.example_libraries的使用 163
10.2.1 jax.experimental.sparse的使用 163
10.2.2 jax.experimental.optimizers模塊的使用 166
10.2.3 jax.experimental.stax的使用 168
10.3 本章小結(jié) 168
第11章 JAX實(shí)戰(zhàn)使用ResNet完成CIFAR100數(shù)據(jù)集分類 169
11.1 ResNet基礎(chǔ)原理與程序設(shè)計(jì)基礎(chǔ) 169
11.1.1 ResNet誕生的背景 170
11.1.2 使用JAX中實(shí)現(xiàn)的部件不要重復(fù)造輪子 173
11.1.3 一些stax模塊中特有的類 175
11.2 ResNet實(shí)戰(zhàn)CIFAR100數(shù)據(jù)集分類 176
11.2.1 CIFAR100數(shù)據(jù)集簡(jiǎn)介 176
11.2.2 ResNet殘差模塊的實(shí)現(xiàn) 179
11.2.3 ResNet網(wǎng)絡(luò)的實(shí)現(xiàn) 181
11.2.4 使用ResNet對(duì)CIFAR100數(shù)據(jù)集進(jìn)行分類 182
11.3 本章小結(jié) 184
第12章 JAX實(shí)戰(zhàn)有趣的詞嵌入 185
12.1 文本數(shù)據(jù)處理 185
12.1.1 數(shù)據(jù)集和數(shù)據(jù)清洗 185
12.1.2 停用詞的使用 188
12.1.3 詞向量訓(xùn)練模型word2vec的使用 190
12.1.4 文本主題的提�。夯�于TF-IDF 193
12.1.5 文本主題的提�。夯�于TextRank 197
12.2 更多的詞嵌入方法FastText和預(yù)訓(xùn)練詞向量 200
12.2.1 FastText的原理與基礎(chǔ)算法 201
12.2.2 FastText訓(xùn)練以及與JAX的協(xié)同使用 202
12.2.3 使用其他預(yù)訓(xùn)練參數(shù)嵌入矩陣（中文） 204
12.3 針對(duì)文本的卷積神經(jīng)網(wǎng)絡(luò)模型字符卷積 205
12.3.1 字符（非單詞）文本的處理 206
12.3.2 卷積神經(jīng)網(wǎng)絡(luò)文本分類模型的實(shí)現(xiàn)conv1d（一維卷積） 213
12.4 針對(duì)文本的卷積神經(jīng)網(wǎng)絡(luò)模型詞卷積 216
12.4.1 單詞的文本處理 216
12.4.2 卷積神經(jīng)網(wǎng)絡(luò)文本分類模型的實(shí)現(xiàn) 218
12.5 使用卷積對(duì)文本分類的補(bǔ)充內(nèi)容 219
12.5.1 中文的文本處理 219
12.5.2 其他細(xì)節(jié) 222
12.6 本章小結(jié) 222
第13章 JAX實(shí)戰(zhàn)生成對(duì)抗網(wǎng)絡(luò)（GAN） 223
13.1 GAN的工作原理詳解 223
13.1.1 生成器與判別器共同構(gòu)成了一個(gè)GAN 224
13.1.2 GAN是怎么工作的 225
13.2 GAN的數(shù)學(xué)原理詳解 225
13.2.1 GAN的損失函數(shù) 226
13.2.2 生成器的產(chǎn)生分布的數(shù)學(xué)原理相對(duì)熵簡(jiǎn)介 226
13.3 JAX實(shí)戰(zhàn)GAN網(wǎng)絡(luò) 227
13.3.1 生成對(duì)抗網(wǎng)絡(luò)GAN的實(shí)現(xiàn) 228
13.3.2 GAN的應(yīng)用前景 232
13.4 本章小結(jié) 235
附錄 Windows 11安裝GPU版本的JAX 236