Transformer原理解析及中文項(xiàng)目實(shí)踐
定 價(jià)：69 元
叢書(shū)名：跟我一起學(xué)人工智能
當(dāng)前圖書(shū)已被 3 所學(xué)校薦購(gòu)過(guò)！
查看明細(xì)
- 作者：沈志龍
- 出版時(shí)間：2024/12/1
- ISBN：9787302696322
- 出 版 社：清華大學(xué)出版社
- 中圖法分類(lèi)：TP391
- 頁(yè)碼：
- 紙張：膠版紙
- 版次：
- 開(kāi)本：16開(kāi)
本書(shū)深入淺出地介紹了深度學(xué)習(xí)中的序列模型及其發(fā)展歷程，重點(diǎn)講解了Transformer架構(gòu)及其變體的原理與實(shí)戰(zhàn)應(yīng)用。全書(shū)共5章，旨在幫助讀者從理論基礎(chǔ)到實(shí)戰(zhàn)應(yīng)用，全面掌握Transformer技術(shù)。第1章詳細(xì)介紹RNN和LSTM的原理、代碼實(shí)戰(zhàn)及存在的問(wèn)題與挑戰(zhàn)。第2章全面剖析了Transformer的總體架構(gòu)、核心思想及各組成部分的實(shí)現(xiàn)方法。第3章從自定義代碼出發(fā)，詳細(xì)地講解了詞嵌入、多頭注意力層、前饋網(wǎng)絡(luò)層、編碼器層和解碼器層的構(gòu)建方法，以及如何訓(xùn)練Transformer模型。第4章介紹Transformer變體與進(jìn)階部分。第5章介紹利用HuggingFace實(shí)踐Transformer，首先介紹了HuggingFace社區(qū)和Transformers庫(kù)，然后通過(guò)實(shí)際應(yīng)用案例，如文本分類(lèi)、情感分類(lèi)、命名實(shí)體識(shí)別等，展示了如何使用Transformers庫(kù)進(jìn)行項(xiàng)目開(kāi)發(fā)。最后，講解了模型微調(diào)的各種方法，以及Transformer的影響和未來(lái)展望。本書(shū)適合對(duì)深度學(xué)習(xí)、序列模型和Transformer感興趣的讀者，無(wú)論是初學(xué)者還是有一定基礎(chǔ)的開(kāi)發(fā)者都能從中獲得豐富的理論知識(shí)和實(shí)踐經(jīng)驗(yàn)。同時(shí)，本書(shū)也可作為高等院校和培訓(xùn)機(jī)構(gòu)相關(guān)專(zhuān)業(yè)的教學(xué)參考書(shū)。
本書(shū)不僅涵蓋了Transformer的基礎(chǔ)知識(shí)，還擴(kuò)展到其變體模型（如BERT、GPT等）及其在實(shí)際項(xiàng)目中的應(yīng)用，還將介紹如何使用HuggingFace庫(kù)進(jìn)行快速開(kāi)發(fā)與實(shí)踐，幫助讀者更高效地部署和應(yīng)用Transformer模型。通過(guò)本書(shū)的學(xué)習(xí)，讀者將能夠在自然語(yǔ)言處理、文本生成、情感分析、命名實(shí)體識(shí)別等領(lǐng)域中，應(yīng)用Transformer及其變體，提升自己的AI技術(shù)水平。
前言
近年來(lái)，Transformer架構(gòu)的提出，標(biāo)志著自然語(yǔ)言處理（Natural Language Processing，NLP）技術(shù)進(jìn)入了一個(gè)嶄新的時(shí)代。與傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）和長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Shortterm Memory Network，LSTM）相比，Transformer通過(guò)其獨(dú)特的自注意力機(jī)制，不僅提升了模型的計(jì)算效率，還大幅地提高了性能，使從機(jī)器翻譯到文本生成、情感分析等多種任務(wù)都取得了顯著的進(jìn)展。
筆者在深度學(xué)習(xí)領(lǐng)域從事了多年研究與開(kāi)發(fā)工作，見(jiàn)證了深度學(xué)習(xí)模型從RNN、LSTM到Transformer架構(gòu)的演變。在這個(gè)過(guò)程中，Transformer的創(chuàng)新性和強(qiáng)大能力深深吸引了我。自從論文“Attention is All You Need”發(fā)布以來(lái)，Transformer迅速成為深度學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)，并被廣泛地應(yīng)用于多個(gè)領(lǐng)域，例如自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音處理等。尤其是在自然語(yǔ)言處理任務(wù)中，Transformer架構(gòu)不僅為傳統(tǒng)任務(wù)提供了新的解決方案，還催生了大量的變體模型，例如BERT、GPT系列等，極大地推動(dòng)了AI技術(shù)的進(jìn)步。
本書(shū)旨在深入淺出地介紹Transformer架構(gòu)及其應(yīng)用，結(jié)合理論與實(shí)踐，帶領(lǐng)讀者系統(tǒng)地學(xué)習(xí)Transformer。通過(guò)詳細(xì)的模型解析、實(shí)現(xiàn)原理及實(shí)踐案例，讀者將能夠掌握Transformer的核心概念、實(shí)現(xiàn)技巧及如何在實(shí)際應(yīng)用中高效訓(xùn)練和調(diào)優(yōu)Transformer模型。無(wú)論是剛接觸深度學(xué)習(xí)的初學(xué)者，還是有一定經(jīng)驗(yàn)的開(kāi)發(fā)者，均能通過(guò)本書(shū)獲得深刻的理解和實(shí)踐經(jīng)驗(yàn)。
書(shū)中的內(nèi)容不僅涵蓋了Transformer的基礎(chǔ)知識(shí)，還擴(kuò)展到其變體模型（例如BERT、GPT等）及其在實(shí)際項(xiàng)目中的應(yīng)用。本書(shū)還將介紹如何使用Hugging Face庫(kù)進(jìn)行快速開(kāi)發(fā)與實(shí)踐，幫助讀者更高效地部署和應(yīng)用Transformer模型。通過(guò)本書(shū)的學(xué)習(xí)，讀者將能夠在自然語(yǔ)言處理、文本生成、情感分析、命名實(shí)體識(shí)別等領(lǐng)域中，應(yīng)用Transformer及其變體，提升自己的AI技術(shù)水平。
希望本書(shū)能為廣大讀者提供系統(tǒng)化的學(xué)習(xí)路徑，幫助大家深入理解Transformer架構(gòu)，并在實(shí)踐中取得突破性進(jìn)展。筆者相信，通過(guò)掌握這些前沿技術(shù)，讀者將能夠在人工智能領(lǐng)域中迎接新的挑戰(zhàn)，實(shí)現(xiàn)職業(yè)發(fā)展的跨越。
資源下載提示
素材（源碼）等資源： 掃描目錄上方的二維碼下載。
視頻等資源： 掃描封底的文泉云盤(pán)防盜碼，再掃描書(shū)中相應(yīng)章節(jié)的二維碼，可以在線學(xué)習(xí)。
致謝
我要特別感謝我的妻子，感謝她在我寫(xiě)作本書(shū)期間始終如一的支持與理解。妻子的默默奉獻(xiàn)，尤其是承擔(dān)了所有的家務(wù)，讓我能夠?qū)Ｐ闹轮镜赝度脒@項(xiàng)寫(xiě)作工作中。沒(méi)有她的陪伴與支持，完成這本書(shū)是不可能的。
此外，我還要感謝所有在技術(shù)上給予我?guī)椭耐撕团笥褌儯悄銈兊闹笇?dǎo)與分享，才讓我在不斷探索和實(shí)踐中得以不斷進(jìn)步。感謝各位開(kāi)發(fā)者和研究人員，尤其是Transformer和深度學(xué)習(xí)領(lǐng)域的前輩們，你們的工作為我提供了堅(jiān)實(shí)的理論基礎(chǔ)與啟發(fā)。
由于寫(xiě)作時(shí)間有限，本書(shū)難免存在疏漏和不足之處，懇請(qǐng)讀者見(jiàn)諒，并提供寶貴的意見(jiàn)和建議。希望這本書(shū)能為大家的學(xué)習(xí)和研究提供幫助，若可以得到您的反饋和改進(jìn)建議，將不勝感激。
再次感謝所有支持與幫助過(guò)我的人，是你們讓這一切成為可能。
沈志龍
2025年5月
沈志龍,統(tǒng)計(jì)學(xué)碩士、AI算法，擁有數(shù)學(xué)和統(tǒng)計(jì)學(xué)背景，對(duì)自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等領(lǐng)域具有深厚的理論知識(shí)和實(shí)踐經(jīng)驗(yàn)。在數(shù)據(jù)分析和挖掘領(lǐng)域耕耘多年，對(duì)數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和知識(shí)圖譜等方向有深入的研究和探索。在文本分類(lèi)、命名實(shí)體識(shí)別、文本生成等自然語(yǔ)言處理任務(wù)上具有豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)，對(duì)于Transformer技術(shù)應(yīng)該具備的核心專(zhuān)業(yè)能力有深入的理解和掌握。
目錄
教學(xué)課件（PPT）
本書(shū)源碼
第1章引言（83min）
1.1深度學(xué)習(xí)與序列模型的進(jìn)化
1.1.1RNN原理
1.1.2RNN代碼實(shí)踐
1.1.3RNN的問(wèn)題與挑戰(zhàn)
1.1.4LSTM原理
1.1.5LSTM代碼實(shí)踐
1.1.6LSTM的問(wèn)題與挑戰(zhàn)
1.2Transformer的誕生背景
1.2.1Seq2Seq模型
1.2.2Seq2Seq代碼實(shí)踐
1.2.3注意力機(jī)制的崛起
1.2.4 注意力機(jī)制代碼解讀
1.2.5論文“Attention is All You Need”簡(jiǎn)介
第2章Transformer架構(gòu)解析（87min）
2.1Transformer總覽
2.1.1Transformer的核心思想
2.1.2Transformer的總體架構(gòu)
2.2Transformer的實(shí)現(xiàn)
2.2.1自注意力機(jī)制的原理和實(shí)現(xiàn)
2.2.2多頭注意力的原理和實(shí)現(xiàn)
2.2.3位置編碼的作用和實(shí)現(xiàn)
2.2.4前饋網(wǎng)絡(luò)層
2.2.5殘差連接和層歸一化
2.2.6解碼器的結(jié)構(gòu)和功能
第3章訓(xùn)練Transformer
3.1自定義Transformer代碼
3.1.1詞嵌入和位置編碼
3.1.2多頭注意力層
3.1.3前饋網(wǎng)絡(luò)層
3.1.4編碼器層和解碼器層
3.1.5構(gòu)建Transformer模型
3.1.6訓(xùn)練Transformer模型
3.2實(shí)踐訓(xùn)練
3.2.1數(shù)據(jù)準(zhǔn)備
3.2.2模型定義及訓(xùn)練
3.2.3模型預(yù)測(cè)
第4章Transformer變體與進(jìn)階（79min）
4.1BERT
4.1.1BERT架構(gòu)與原理
4.1.2BERT訓(xùn)練過(guò)程解析
4.2GPT系列
4.2.1從GPT到GPT4o
4.2.2GPT訓(xùn)練過(guò)程解析
4.3其他變體
4.3.1ALBERT
4.3.2RoBERTa
4.3.3T5
4.3.4知識(shí)蒸餾原理及實(shí)踐
第5章利用Hugging Face實(shí)踐Transformer
5.1Hugging Face簡(jiǎn)介
5.1.1社區(qū)與資源介紹
5.1.2Transformers庫(kù)概覽
5.2快速開(kāi)始
5.2.1Transformers庫(kù)
5.2.2Datasets加載數(shù)據(jù)集
5.2.3Tokenizer文本處理
5.2.4預(yù)訓(xùn)練模型的加載
5.2.5Evaluate評(píng)估
5.2.6Trainer訓(xùn)練
5.3實(shí)際應(yīng)用案例
5.3.1文本分類(lèi)
5.3.2情感分類(lèi)
5.3.3命名實(shí)體識(shí)別
5.3.4文本相似度
5.3.5機(jī)器閱讀理解
5.3.6文本摘要
5.3.7生成式對(duì)話機(jī)器人
5.4模型高效微調(diào)
5.4.1微調(diào)原理介紹
5.4.2Freeze微調(diào)原理及實(shí)踐
5.4.3PromptTuning微調(diào)原理及實(shí)踐
5.4.4Prefix Tuning微調(diào)原理及實(shí)踐
5.4.5PTuning微調(diào)原理及實(shí)踐
5.4.6LoRA微調(diào)原理及實(shí)踐
5.4.7AdaLoRA微調(diào)原理及實(shí)踐
5.4.8QLoRA微調(diào)原理及實(shí)踐
5.5Transformer的影響
5.6未來(lái)展望
書(shū)單推薦
