前　　言
Programming Massively Parallel Processors: A Hands-on Approach, Fourth Edition

我們非常自豪地向你介紹本書。
融合多核CPU和多線程GPU的大眾市場計算系統(tǒng)已經(jīng)將萬億級別的計算能力引入筆記本電腦中，將億億級別的計算能力引入計算集群中。在如此強(qiáng)大的計算動能下，我們正處于科學(xué)、工程、醫(yī)學(xué)以及商業(yè)領(lǐng)域廣泛應(yīng)用計算實(shí)驗的黎明。我們也親歷了GPU計算在金融、電子商務(wù)、石油與天然氣、制造等關(guān)鍵產(chǎn)業(yè)垂直市場的廣泛滲透。通過具有前所未有的規(guī)模、精確度、安全性、可控性與可視性的計算實(shí)驗，這些領(lǐng)域的突破將得以實(shí)現(xiàn)。本書為這一愿景提供了關(guān)鍵要素，即將并行編程教授給數(shù)百萬研究生和本科生，使得計算思維和并行編程技能能夠與微積分技能一樣廣泛普及。
本書的主要讀者是所有需要通過計算思維和并行編程技能來取得科學(xué)與工程學(xué)科上的突破的研究生和本科生。此外，本書還被業(yè)內(nèi)專業(yè)開發(fā)人員廣泛使用，目標(biāo)是在并行計算領(lǐng)域?qū)W習(xí)新的技能，與技術(shù)的飛速進(jìn)步保持同步。這些專業(yè)開發(fā)人員涵蓋機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)安全、自動駕駛、計算金融、數(shù)據(jù)分析、認(rèn)知計算、機(jī)械工程、土木工程、電氣工程、生物工程、物理學(xué)、化學(xué)、天文學(xué)以及地理學(xué)等領(lǐng)域，他們運(yùn)用計算推動著各自領(lǐng)域前沿技術(shù)的發(fā)展。因此，這些開發(fā)人員既需要是領(lǐng)域?qū)＜遥�同時也必須是編程專家。本書通過逐步建立對技術(shù)的直觀理解這一方式講授并行編程。我們假設(shè)讀者至少具備基本的C編程經(jīng)驗。我們選用了CUDA C這一并行編程環(huán)境，該環(huán)境需要NVIDIA GPU的支持。在大眾消費(fèi)者和專業(yè)人員手中已有超過10億臺這樣的處理器，而超過40萬名程序員在積極地運(yùn)用CUDA進(jìn)行開發(fā)。你在學(xué)習(xí)過程中開發(fā)出的應(yīng)用程序，將有可能被非常龐大的用戶社群所使用。
自2016年第3版上市以來，我們收到了許多來自讀者和教師的寶貴意見。其中，很多人肯定了本書現(xiàn)有的非常重要的特點(diǎn)，其他人則提供了關(guān)于如何擴(kuò)展本書內(nèi)容以使其更具價值的建議。與此同時，自2016年以來，用于異構(gòu)并行計算的硬件和軟件技術(shù)已經(jīng)取得了巨大的進(jìn)步。在硬件領(lǐng)域，GPU計算架構(gòu)已經(jīng)推出了三代新版本，分別是Volta、Turing和Ampere。在軟件領(lǐng)域，從CUDA 9到CUDA 11的發(fā)展使程序員得以訪問新的硬件和系統(tǒng)功能。同時，新的算法也得到了開發(fā)。為適應(yīng)這些變化，我們新增了四章，并對大部分現(xiàn)有章節(jié)進(jìn)行了重寫。

新增的四章包括一個基礎(chǔ)性章節(jié)（第4章），以及三個關(guān)于并行模式和應(yīng)用的章節(jié)（第8章、第10章和第13章）。我們增加這些章節(jié)的初衷如下：

第4章：在之前的版本中，關(guān)于架構(gòu)和調(diào)度方面的討論分布在多個章節(jié)中。在這一版中，我們將這些討論集中在一起，以便感興趣的讀者學(xué)習(xí)。
第8章：在之前的版本中，模板模式在關(guān)于卷積的章節(jié)中略有提及，因為這兩種模式有相似之處。在這一版中，第8章對模板模式進(jìn)行了更為全面的介紹，強(qiáng)調(diào)其背后的數(shù)學(xué)原理，突出其與卷積不同的方面，從而為進(jìn)一步的優(yōu)化提供了可能。這一章還提供了處理三維網(wǎng)格和數(shù)據(jù)的示例。
第10章：在之前的版本中，歸約模式在關(guān)于性能的章節(jié)中略有提及。在這一版中，第10章更為全面地呈現(xiàn)了歸約模式，采用漸進(jìn)的方式應(yīng)用優(yōu)化方法，并更深入地分析了相關(guān)的性能權(quán)衡。
第13章：在之前的版本中，歸并排序在關(guān)于歸并模式的章節(jié)中略有提及。在這一版中，第13章將基數(shù)排序作為一種極其適用于GPU并行化的非比較排序算法進(jìn)行介紹。第13章采用漸進(jìn)的方式進(jìn)行優(yōu)化，并分析了性能權(quán)衡。此外，這一章還對歸并排序進(jìn)行了探討。
除了新增的章節(jié)外，所有章節(jié)都經(jīng)過了修訂，部分章節(jié)經(jīng)過了大幅修改。這些章節(jié)包括：
第6章：之前在本章中的關(guān)于架構(gòu)的內(nèi)容已經(jīng)移到第4章，歸約示例部分則移至第10章。對于刪改的部分，我們進(jìn)行了重寫以更全面地處理線程粒度問題，更為重要的是，提供一份常見的性能優(yōu)化策略清單，并討論了每種策略所解決的性能瓶頸。這份清單在本書的其余部分中被用來優(yōu)化各種并行模式和應(yīng)用程序的代碼。我們的目標(biāo)是強(qiáng)調(diào)一種用于優(yōu)化并行程序性能的系統(tǒng)且漸進(jìn)的方法。
第7章：在之前的版本中，關(guān)于卷積模式的章節(jié)以一維卷積作為示例，對二維卷積僅進(jìn)行了簡要處理。在這一版中，我們對本章進(jìn)行了重寫，從一開始就更加注重討論二維卷積。這一變化使我們能夠更全面地探討更高維度平鋪的復(fù)雜性和細(xì)節(jié)，并為讀者學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)（第16章）提供更好的背景。
第9章：在之前的版本中，關(guān)于直方圖模式的章節(jié)從一開始就應(yīng)用了線程粗化優(yōu)化，并將私有化優(yōu)化與共享內(nèi)存的使用相結(jié)合。在這一版中，我們對本章進(jìn)行了重寫，采用更漸進(jìn)的方式進(jìn)行性能優(yōu)化�，F(xiàn)在介紹的初始實(shí)現(xiàn)不再應(yīng)用線程粗化，并將私有化和在私有bin中使用共享內(nèi)存區(qū)分為兩種獨(dú)立的優(yōu)化方式，前者旨在減少原子操作的爭用，后者旨在減少訪問延遲。線程粗化在私有化后應(yīng)用，因為粗化的一個主要優(yōu)點(diǎn)是減少提交到公共副本的私有副本數(shù)量。這種新的章節(jié)組織方式更加貼合本書始終遵循的系統(tǒng)化和漸進(jìn)化的性能優(yōu)化方法。此外，由于原子操作被用于多塊歸約和單次掃描核函數(shù)中，因此為了更早地引入原