人工智能技術(shù)正在深刻改變著我們的學(xué)習(xí)、工作和生活。從計(jì)算機(jī)視覺到自然語言處理，從自動駕駛到智能機(jī)器人，AI應(yīng)用的蓬勃發(fā)展對計(jì)算平臺提出了新的挑戰(zhàn)。這些挑戰(zhàn)主要表現(xiàn)在以下兩個(gè)方面：1）計(jì)算需求的爆炸性增長，深度學(xué)習(xí)模型規(guī)模持續(xù)擴(kuò)大，訓(xùn)練數(shù)據(jù)量急劇增加，實(shí)時(shí)推理應(yīng)用對延遲提出更高要求，邊緣計(jì)算場景對能效比的要求提升；2）新興應(yīng)用帶來的特殊需求，包括大規(guī)模矩陣運(yùn)算加速、靈活的數(shù)據(jù)精度支持、復(fù)雜的數(shù)據(jù)重用模式，以及特定算子的硬件映射優(yōu)化。
隨著人工智能技術(shù)的快速發(fā)展和廣泛應(yīng)用，傳統(tǒng)通用處理器架構(gòu)在處理AI工作負(fù)載時(shí)的局限性日益凸顯，其瓶頸主要表現(xiàn)在：存儲墻問題日益嚴(yán)重、對AI特征計(jì)算支持不足、控制邏輯開銷過大，以及數(shù)據(jù)搬運(yùn)效率低下。為了更好地支持大規(guī)模參數(shù)和復(fù)雜計(jì)算結(jié)構(gòu)的機(jī)器學(xué)習(xí)模型的高效執(zhí)行，專門面向人工智能領(lǐng)域的處理器架構(gòu)設(shè)計(jì)成為近幾年計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域最活躍的研究方向之一。面對傳統(tǒng)處理器在AI領(lǐng)域應(yīng)用的瓶頸，設(shè)計(jì)專用的AI處理器架構(gòu)已是大勢所趨。由此，作者團(tuán)隊(duì)撰寫了本書，對AI處理器硬件架構(gòu)設(shè)計(jì)進(jìn)行了全方位的系統(tǒng)闡述。
本書所呈現(xiàn)的內(nèi)容基于工業(yè)界當(dāng)下實(shí)際的產(chǎn)品和應(yīng)用技術(shù)，在不侵犯商用知識產(chǎn)權(quán)的前提下，盡力為讀者呈現(xiàn)是什么（What）為什么這樣設(shè)計(jì)（Why），以及如何設(shè)計(jì)，如何分析（How）。在本書的寫作過程中，作者相對弱化了對計(jì)算機(jī)體系結(jié)構(gòu)基礎(chǔ)知識的闡述，將更多的篇幅有針對性地聚焦于處理器架構(gòu)/微架構(gòu)設(shè)計(jì)的內(nèi)容，最大限度地為讀者呈現(xiàn)硬件架構(gòu)/微架構(gòu)的全貌，以及如何設(shè)計(jì)一款A(yù)I處理器。
無論是產(chǎn)品還是工程經(jīng)驗(yàn)，都會存在自身的局限性。每個(gè)成熟的商業(yè)公司都有其特有研發(fā)體系，工程師也往往在體系之內(nèi)選擇自己認(rèn)為適宜的方式去做設(shè)計(jì)以及思考，這本身就帶有一定的慣性和片面性。因此，作者通過一家之言拋磚引玉，希望能夠引發(fā)讀者對設(shè)計(jì)的思考；或者，根據(jù)作者的視角和工程經(jīng)驗(yàn)，啟發(fā)讀者的思路。如果本書能夠幫助讀者解決實(shí)際的工程問題，或者幫助讀者彌合了課堂與工業(yè)界的差距，那么作者將甚感榮幸。
《AI處理器硬件架構(gòu)設(shè)計(jì)》分為9章，各章內(nèi)容如下。
第1章為基礎(chǔ)知識概述，簡要介紹了神經(jīng)網(wǎng)絡(luò)和硬件加速平臺的相關(guān)基礎(chǔ)知識，便于讀者理解后續(xù)內(nèi)容。
第2章和第3章從宏觀角度分別介紹了AI處理器指令集與硬件架構(gòu)的設(shè)計(jì)。其中第2章為讀者介紹了一套通用的AI處理器指令集的詳細(xì)規(guī)格，包括標(biāo)量指令、向量指令、矩陣運(yùn)算指令等。第3章為架構(gòu)設(shè)計(jì)總述，介紹了當(dāng)前典型的AI處理器架構(gòu)實(shí)現(xiàn)（包括VLIW/超標(biāo)量 SIMD和SIMT），計(jì)算核心向量運(yùn)算單元、矩陣處理單元，以及標(biāo)量處理單元三者的架構(gòu)設(shè)計(jì)、流水線分配，以及運(yùn)算融合。
AI處理器硬件架構(gòu)設(shè)計(jì)第4章介紹了向量處理單元的詳細(xì)微架構(gòu)設(shè)計(jì)，涉及從整體微架構(gòu)到各個(gè)功能單元的設(shè)計(jì)，包括浮點(diǎn)運(yùn)算單元、各種向量類指令和超越函數(shù)類指令的硬件實(shí)現(xiàn)。
第5章介紹了矩陣處理單元的詳細(xì)微架構(gòu)設(shè)計(jì)，重點(diǎn)闡述了數(shù)據(jù)流設(shè)計(jì)、脈動陣列的設(shè)計(jì)和優(yōu)化，以及乘累加單元的硬件實(shí)現(xiàn)。
第6章介紹了標(biāo)量處理單元的詳細(xì)微架構(gòu)設(shè)計(jì)，對應(yīng)于標(biāo)量指令的生命周期，基于AI處理器與通用CPU在應(yīng)用場景與設(shè)計(jì)考量上的差異，根據(jù)流水線設(shè)計(jì)的次序，依次講解了指令提取單元、分支預(yù)測單元、指令譯碼單元與指令發(fā)射單元、執(zhí)行單元，以及訪存單元的微架構(gòu)設(shè)計(jì)。
第7章介紹了數(shù)據(jù)搬運(yùn)單元的設(shè)計(jì)，包括數(shù)據(jù)傳輸和在線處理，以及總線接口單元設(shè)計(jì)。
第8章介紹了AI處理器中存儲系統(tǒng)的設(shè)計(jì)，包括存儲器中Bank的劃分、Gather/Scatter引擎的設(shè)計(jì)，以及進(jìn)行相應(yīng)的物理實(shí)現(xiàn)時(shí)需要關(guān)注的問題。
第9章對西安交通大學(xué)人工智能與機(jī)器人研究所研發(fā)的HiPU微架構(gòu)進(jìn)行了深度剖析，包括從指令集設(shè)計(jì)到硬件架構(gòu)的實(shí)現(xiàn)。通過對流水線和各功能單元微架構(gòu)的介紹，讀者可對第2~8章中介紹的內(nèi)容進(jìn)行相互印證并將所學(xué)知識融會貫通。
感謝西安交通大學(xué)趙文哲副教授和大洋彼岸的同學(xué)Howard Wong在本書策劃與編寫過程中提供的指導(dǎo)及幫助；感謝機(jī)械工業(yè)出版社編輯李培培一如既往的關(guān)照和支持。
天下事，在局外吶喊議論，總是無益。必須躬身入局，挺膺負(fù)責(zé)，方有成事之可冀。最后以此句話與各位業(yè)界同仁共勉。

李東聲