大模型訓練與推理加速實戰(zhàn)：基于CUDA計算平臺（Python版）
定 價：129 元
當前圖書已被 4 所學校薦購過！
查看明細
- 作者：溫浩
- 出版時間：2025/7/1
- ISBN：9787121505430
- 出 版 社：電子工業(yè)出版社
- 中圖法分類：TP181；TP312.8
- 頁碼：464
- 紙張：
- 版次：01
- 開本：16開
本書深入探討深度學習模型訓練和推理加速的前沿技術，尤其是在 NVIDIA CUDA（Compute Unified Device Architecture）平臺上的應用與優(yōu)化。本書從大模型訓練的挑戰(zhàn)和分布式訓練，到 CUDA 加速推理技術，再到端側推理的優(yōu)化部署，系統(tǒng)地介紹如何利用 CUDA 平臺加速大模型的訓練與推理過程，并結合具體案例深入講解數(shù)據(jù)并行、模型并行、任務調度、負載均衡等技術。本書共 10 章，首先介紹大模型訓練面臨的計算復雜性、內(nèi)存帶寬和數(shù)據(jù)傳輸瓶頸等問題，并講解基于NCCL（NVIDIA Collective Communications Library）的優(yōu)化方法；然后，通過深入淺出的講解，展示如何使用 TensorRT 進行推理加速，并探討多模型并行推理架構、混合精度訓練與推理等優(yōu)化策略；最后，詳細闡述端側推理加速，特別是在移動設備和邊緣設備中的應用，強調模型量化、裁剪等技術在推理加速中的重要作用。
溫浩，從事科研工作二十余年，參與國家科技重大專項攻關任務，精通各種工程應用與數(shù)據(jù)分析工具，專注于強化學習和深度學習模型與各行業(yè)應用的結合，推動人工智能技術在實際業(yè)務中的落地與應用。負責企業(yè)AI大模型的部署、優(yōu)化及監(jiān)控，確保系統(tǒng)在高并發(fā)、大規(guī)模數(shù)據(jù)處理環(huán)境下的穩(wěn)定性和高效性。擁有豐富的工程實踐經(jīng)驗，發(fā)表論文多篇。
第1章 CUDA基礎與計算平臺概述 1
1.1 CUDA架構與工作原理 1
1.1.1 CUDA編程模型概述 1
1.1.2 核心計算單元：線程、塊與網(wǎng)格 3
1.1.3 GPU與CPU的并行計算差異 5
1.1.4 CUDA主機與設備之間的協(xié)作 7
1.2 CUDA開發(fā)環(huán)境搭建 8
1.2.1 安裝與配置CUDA工具包 8
1.2.2 Python環(huán)境配置：PyCUDA與CUDA Python接口 11
1.2.3 使用NVIDIA Nsight調試與優(yōu)化工具 14
1.2.4 CUDA編譯器nvcc的使用 16
1.3 CUDA核心API與內(nèi)存管理 18
1.3.1 內(nèi)存管理：主機內(nèi)存與設備內(nèi)存 18
1.3.2 數(shù)據(jù)傳輸：從主機內(nèi)存到設備內(nèi)存的數(shù)據(jù)拷貝 21
1.3.3 共享內(nèi)存與常量內(nèi)存的使用 24
1.3.4 CUDA流與事件管理 28
1.4 CUDA調度與線程管理 33
1.4.1 線程并行度與調度模型 33
1.4.2 線程塊與網(wǎng)格組織 36
1.4.3 線程同步與互斥 39
1.4.4 線程調度與優(yōu)化策略 42
1.5 CUDA性能分析與優(yōu)化基礎 45
1.5.1 性能瓶頸的識別 46
1.5.2 GPU計算性能與效率指標 49
1.5.3 使用NVIDIA Visual Profiler進行性能分析 53
1.5.4 GPU硬件性能計數(shù)器的使用 56
1.6 本章小結 60
第2章 CUDA在深度學習中的應用 61
2.1 深度學習框架概述 61
2.1.1 常用深度學習框架 61
2.1.2 CUDA加速對比：GPU與CPU的性能差異 66
2.1.3 GPU在卷積神經(jīng)網(wǎng)絡中的優(yōu)勢 69
2.2 CUDA加速的神經(jīng)網(wǎng)絡前向傳播與反向傳播 72
2.2.1 神經(jīng)網(wǎng)絡的矩陣計算與CUDA加速 72
2.2.2 激活函數(shù)與批歸一化的加速 75
2.2.3 反向傳播算法的CUDA實現(xiàn) 79
2.2.4 動態(tài)計算圖與靜態(tài)計算圖的對比 84
2.2.5 代碼示例：動態(tài)計算圖與靜態(tài)計算圖的對比 84
2.3 卷積操作的CUDA優(yōu)化 87
2.3.1 卷積操作在CUDA中的實現(xiàn)原理 87
2.3.2 使用cuDNN庫進行卷積加速 91
2.3.3 高效的卷積算法選擇 94
2.3.4 三維卷積與卷積神經(jīng)網(wǎng)絡的多GPU加速 102
2.4 CUDA在大規(guī)模數(shù)據(jù)處理中的應用 106
2.4.1 數(shù)據(jù)預處理：圖像增強與轉換 107
2.4.2 數(shù)據(jù)并行：數(shù)據(jù)分割與任務劃分 111
2.4.3 使用CUDA加速批量數(shù)據(jù)加載與預處理過程 115
2.5 使用CUDA優(yōu)化神經(jīng)網(wǎng)絡模型訓練 119
2.5.1 梯度計算和參數(shù)更新的加速 120
2.5.2 自動微分與反向傳播的優(yōu)化 123
2.6 本章小結 127
第3章 CUDA與高性能計算 129
3.1 高性能計算基礎 129
3.1.1 CUDA在科學計算中的應用場景 129
3.1.2 大規(guī)模并行計算 132
3.2 大規(guī)模線性代數(shù)運算加速 133
3.2.1 矩陣乘法與BLAS庫 134
3.2.2 使用cuBLAS庫進行高效矩陣計算 137
3.2.3 稀疏矩陣計算 140
3.3 CUDA并行算法設計 144
3.3.1 并行歸約與掃描算法 144
3.3.2 線程間通信與數(shù)據(jù)依賴性處理 149
3.3.3 高效排序與快速傅里葉變換 153
3.4 使用CUDA加速科學仿真與建模 158
3.4.1 物理仿真與CUDA應用 159
3.4.2 數(shù)值解法：有限差分法與有限元法 163
3.4.3 GPU加速流體動力學模擬 166
3.4.4 CUDA在地震學中的應用 170
3.5 高性能計算中GPU與CPU協(xié)同計算 174
3.5.1 GPU與CPU的協(xié)同計算框架 174
3.5.2 使用CUDA和OpenMP進行混合編程 176
3.6 本章小結 179
第4章 模型壓縮與加速 180
4.1 模型壓縮概述 180
4.1.1 模型壓縮基本原理 180
4.1.2 量化、蒸餾、剪枝基本概念 182
4.1.3 模型加速與計算圖優(yōu)化 184
4.2 CUDA在模型量化中的應用 185
4.2.1 浮點表示與定點表示 186
4.2.2 使用CUDA實現(xiàn)權重量化 187
4.3 CUDA在模型蒸餾中的應用 195
4.3.1 使用CUDA加速模型蒸餾過程 196
4.3.2 模型蒸餾中的目標函數(shù)與優(yōu)化策略 204
4.4 CUDA在模型剪枝中的優(yōu)化 211
4.4.1 基于CUDA的稀疏矩陣存儲與加速 212
4.4.2 剪枝后的神經(jīng)網(wǎng)絡加速 216
4.5 本章小結 234
第5章 深度學習推理加速 235
5.1 推理與訓練的區(qū)別 235
5.1.1 推理概述 235
5.1.2 推理與訓練在計算圖上的差異 237
5.2 CUDA推理優(yōu)化技術 239
5.2.1 高效的內(nèi)存管理與數(shù)據(jù)傳輸 239
5.2.2 使用TensorRT進行推理加速 243
5.2.3 節(jié)點融合與圖優(yōu)化 247
5.3 多模型并行推理 258
5.3.1 多模型并行推理架構設計 258
5.3.2 任務調度與負載均衡 260
5.3.3 使用CUDA流進行并行推理 264
5.4 端側推理加速 272
5.4.1 移動設備與邊緣設備推理 272
5.4.2 使用TensorRT進行模型部署 275
5.5 本章小結 283
第6章 NCCL加速分布式訓練 284
6.1 大模型訓練的挑戰(zhàn) 284
6.1.1 大模型的計算復雜性 284
6.1.2 內(nèi)存帶寬與計算資源限制 286
6.1.3 數(shù)據(jù)傳輸瓶頸 295
6.2 分布式訓練的基本概念 298
6.2.1 數(shù)據(jù)并行與模型并行 298
6.2.2 分布式訓練的通信機制 300
6.2.3 使用NCCL進行分布式訓練 309
6.3 本章小結 314
第7章 自定義算子 315
7.1 自定義算子的定義與應用 315
7.1.1 自定義算子的基本概念 315
7.1.2 如何定義并實現(xiàn)CUDA算子 317
7.1.3 自定義CUDA算子優(yōu)化與性能分析 320
7.2 TensorFlow與PyTorch中的自定義算子 327
7.2.1 TensorFlow中自定義算子的創(chuàng)建 327
7.2.2 CUDA算子與TensorFlow集成 336
7.2.3 TensorFlow Custom Ops優(yōu)化 344
7.2.4 PyTorch中自定義算子的創(chuàng)建 354
7.2.5 自定義CUDA算子與PyTorch集成 360
7.2.6 PyTorch中Tensor操作與CUDA加速 368
7.3 本章小結 374
第8章 GPU內(nèi)存優(yōu)化 376
8.1 GPU內(nèi)存管理與優(yōu)化概述 376
8.1.1 GPU內(nèi)存結構與管理 376
8.1.2 CUDA內(nèi)存分配與釋放以及內(nèi)存帶寬優(yōu)化問題 380
8.2 共享內(nèi)存與常量內(nèi)存優(yōu)化 381
8.2.1 共享內(nèi)存的定義與初步使用 382
8.2.2 常量內(nèi)存的定義與高效使用 384
8.3 內(nèi)存層級與跨設備內(nèi)存管理 387
8.3.1 主機內(nèi)存與設備內(nèi)存的交互 388
8.3.2 PCIe與NVLink數(shù)據(jù)傳輸 390
8.4 本章小結 393
第9章 TensorRT推理加速 394
9.1 使用TensorRT進行推理加速 394
9.1.1 TensorRT概述與使用場景 394
9.1.2 從TensorFlow或PyTorch導出模型 397
9.1.3 使用TensorRT進行優(yōu)化與加速 401
9.2 深度學習推理中的模型量化與剪枝 404
9.2.1 推理任務中的模型量化 405
9.2.2 使用CUDA加速剪枝操作 407
9.3 本章小結 410
第10章 CUDA加速大模型訓練與推理過程的實戰(zhàn)案例：氣象模擬 411
10.1 氣象模擬中的大模型挑戰(zhàn)與加速方案 411
10.1.1 氣象模擬中的數(shù)據(jù)規(guī)模與計算復雜度 411
10.1.2 使用深度學習進行氣象模擬 413
10.1.3 模型的訓練過程：從氣象模擬到預測模型 414
10.1.4 CUDA加速在大規(guī)模氣象模擬中的關鍵作用 417
10.2 CUDA加速大模型訓練：基礎設施與優(yōu)化 418
10.2.1 計算資源的高效配置與多GPU訓練架構的構建 418
10.2.2 使用CUDA進行數(shù)據(jù)并行與模型并行優(yōu)化 422
10.2.3 使用NCCL庫優(yōu)化多GPU之間的通信 426
10.3 氣象模擬模型架構 430
10.3.1 基于CNN與RNN的氣象模擬模型架構 430
10.3.2 使用神經(jīng)網(wǎng)絡處理時序數(shù)據(jù)與空間數(shù)據(jù) 434
10.3.3 使用CUDA加速CNN與LSTM 438
10.3.4 卷積操作與時間步長優(yōu)化：CUDA在大模型訓練中的應用 442
10.4 推理加速：氣象模擬的實時響應 446
10.4.1 氣象模擬中推理的實時性要求 446
10.4.2 使用TensorRT加速氣象模擬模型的推理過程 448
10.4.3 大模型并行推理：使用CUDA流與多GPU架構加速 450
10.4.4 氣象模擬推理任務中的內(nèi)存優(yōu)化與帶寬優(yōu)化 452
10.5 本章小結 454
書單推薦
