本書共12章，圍繞大語言模型基礎理論、預訓練、指令理解、模型增強和模型應用五個部分展開：第一部分介紹大語言模型的基礎理論；第二部分介紹大語言模型的預訓練，包括大語言模型預訓練數(shù)據(jù)和分布式訓練；第三部分介紹大語言模型如何理解并服從人類指令，包括有監(jiān)督微調(diào)和強化學習；第四部分介紹大語言模型增強技術，包括多模態(tài)語言模型、大模型智能體和檢索增強生成；第五部分介紹大模型應用，包括大模型效率優(yōu)化、模型評估和應用開發(fā)。
適讀人群 ：AI從業(yè)者、高年級本科生和研究生、對大模型感興趣的讀者
復旦NLP團隊2025年新作
新增內(nèi)容超過50%
詳解MOE、多模態(tài)、智能體、RAG、大模型效率優(yōu)化、預訓練、指令微調(diào)、強化學習、對齊、評估、應用開發(fā)
深入探討LLM的實際應用場景和評價方法，為讀者提供理論指導與實踐經(jīng)驗
構建LLM的每個階段都有算法、數(shù)據(jù)來源、代碼、難點及實踐經(jīng)驗的詳細討論
配代碼
本書封底含有wispaper.ai科研助手智能體（預計2025年6月上線）邀請碼，憑邀請碼可免費使用。
本書共分為12章，圍繞大語言模型基礎理論、預訓練、指令理解、大模型增強和大模型應用五個部分展開：第1部分介紹大語言模型的基礎理論；第2部分介紹大語言模型的預訓練，包括大語言模型預訓練數(shù)據(jù)和分布式訓練；第3部分介紹大語言模型如何理解并服從人類指令，包括指令微調(diào)和強化學習；第4部分介紹大語言模型增強技術，包括多模態(tài)大語言模型、大模型智能體和檢索增強生成；第5部分介紹大模型應用，包括大語言模型效率優(yōu)化、大語言模型評估和大語言模型應用開發(fā)。
第2章介紹大語言模型的基礎理論知識，包括語言模型的定義、Transformer結構、大語言模型框架等內(nèi)容，并以LLaMA使用的模型結構為例介紹代碼實例。
第3章和第4章圍繞大語言模型預訓練階段的主要研究內(nèi)容展開介紹，包括模型分布式訓練中需要掌握的數(shù)據(jù)并行、流水線并行、張量并行及ZeRO系列優(yōu)化方法。除此之外，還將介紹預訓練需要使用的數(shù)據(jù)分布和數(shù)據(jù)預處理方法，并以DeepSpeed為例介紹如何進行大語言模型預訓練。
第5章和第6章聚焦于大語言模型指令理解階段的核心研究內(nèi)容，探討如何通過指令微調(diào)和強化學習方法，使模型能夠理解指令并生成類人回答。第5章重點介紹模型微調(diào)技術、指令微調(diào)數(shù)據(jù)的構造策略以及高效微調(diào)方法，如LoRA、Delta Tuning等方法，第6章則圍繞強化學習展開，講解其基礎理論與近端策略優(yōu)化（PPO）技術，并結合實際案例，以DeepSpeed-Chat和verl框架為例，詳細說明如何訓練類ChatGPT系統(tǒng)。
第7章、第8章和第9章圍繞提升大語言模型的能力展開詳細探討，內(nèi)容涵蓋多模態(tài)大語言模型、大模型智能體和檢索增強生成。第7章重點介紹多模態(tài)大語言模型的基礎理論、架構設計與訓練策略，并探討其在實際場景中的應用實踐；第8章聚焦于智能體的發(fā)展歷程與大語言模型智能體的架構設計，深入分析智能體的實現(xiàn)原理，并以LangChain為例詳細闡述具體實踐；第9章則圍繞檢索增強生成展開討論，介紹其核心思想與實現(xiàn)方式，涵蓋檢索增強框架的設計、檢索模塊與生成模塊的協(xié)作機制，以及其在具體任務場景中的應用方法與實踐。
第10章、第11章和第12章主要圍繞如何應用大語言模型展開討論，內(nèi)容涵蓋提升模型效率的方法、大語言模型評估，以及大語言模型典型應用的開發(fā)與部署。第10章重點介紹模型壓縮與優(yōu)化、訓練效率優(yōu)化和推理效率優(yōu)化等提升模型效率的關鍵技術；第11章聚焦于大語言模型評估，探討其基本概念和難點，闡述評估體系的構建、評估方法的設計及實際評估的實施；第12章則基于典型的大語言模型應用場景，詳細介紹其開發(fā)流程、開發(fā)工具及本地部署的實踐方法。
張奇
復旦大學計算機科學技術學院教授、博士生導師。兼任上海市智能信息處理實驗室副主任，中國中文信息學會理事、CCF大模型論壇常務委員、CIPS信息檢索專委會常務委員、CIPS大模型專委會委員。多次擔任ACL、EMNLP、COLING、全國信息檢索大會等重要國際和國內(nèi)會議的程序委員會主席、領域主席、講習班主席等職務。近年來，承擔了國家重點研發(fā)計劃課題、國家自然科學基金、上海市科委等的多個項目，在國際重要學術期刊和會議上發(fā)表論文200余篇。獲得WSDM 2014最佳論文提名獎、COLING 2018 領域主席推薦獎、NLPCC 2019杰出論文獎、COLING 2022杰出論文獎。獲得上海市晨光計劃人才計劃、復旦大學卓越2025人才培育計劃等支持，獲得錢偉長中文信息處理科學技術一等獎、漢王青年創(chuàng)新一等獎、上海市科技進步二等獎、IBM Faculty Award等獎項。
桂韜
復旦大學副研究員。研究領域為預訓練模型、類人對齊和智能體交互。在國際重要學術期刊和會議上發(fā)表論文50余篇，主持國家自然科學基金、計算機學會和人工智能學會的多個人才項目。獲得錢偉長中文信息處理科學技術一等獎、NeurIPS 2023大模型對齊 Track最佳論文獎，入選第七屆中國科協(xié)青年人才托舉工程、上海市啟明星計劃。
鄭銳
博士畢業(yè)于復旦大學計算機科學技術學院，師從張奇教授。曾任字節(jié)跳動豆包大模型團隊算法工程師，現(xiàn)就職于某前沿科技公司，研究方向為大模型對齊、復雜推理能力提升。獲得NeurIPS Workshop on Instruction Following 2024最佳論文獎。MOSS-RLHF開源項目負責人，開源了RLHF代碼庫及技術文檔，推動大模型對齊技術發(fā)展。在ICLR、ICML、NeurIPS、ACL等國際會議上發(fā)表多篇論文。
黃萱菁
復旦大學特聘教授、博士生導師。主要從事人工智能、自然語言處理和大語言模型研究。兼任中國計算機學會理事、自然語言處理專委會主任、中國中文信息學會理事、計算語言學學會亞太分會主席。在國際重要學術期刊和會議上發(fā)表論文200余篇，獲優(yōu)秀論文獎8項。獲得錢偉長中文信息處理科學技術一等獎、上海市育才獎，以及人工智能全球女性學者、福布斯中國科技女性等多項榮譽。
書單推薦
