預(yù)訓(xùn)練語(yǔ)言模型：方法、實(shí)踐與應(yīng)用
定 價(jià)：69.8 元
- 作者：徐雙雙
- 出版時(shí)間：2025/2/1
- ISBN：9787115650566
- 出 版 社：人民郵電出版社
- 中圖法分類(lèi)：TP391
- 頁(yè)碼：
- 紙張：膠版紙
- 版次：
- 開(kāi)本：16開(kāi)
近年來(lái)，在自然語(yǔ)言處理領(lǐng)域，基于預(yù)訓(xùn)練語(yǔ)言模型的方法已形成全新范式。本書(shū)內(nèi)容分為基礎(chǔ)知識(shí)、預(yù)訓(xùn)練語(yǔ)言模型，以及實(shí)踐與應(yīng)用3個(gè)部分，共9章。第一部分全面、系統(tǒng)地介紹自然語(yǔ)言處理、神經(jīng)網(wǎng)絡(luò)和預(yù)訓(xùn)練語(yǔ)言模型的相關(guān)知識(shí)。第二部分介紹幾種具有代表性的預(yù)訓(xùn)練語(yǔ)言模型的原理和機(jī)制（涉及注意力機(jī)制和Transformer模型），包括BERT及其變種，以及近年來(lái)發(fā)展迅猛的GPT和提示工程。第三部分介紹了基于LangChain和ChatGLM-6B的知識(shí)庫(kù)問(wèn)答系統(tǒng)、基于大型語(yǔ)言模型的自然語(yǔ)言處理任務(wù)應(yīng)用研究和大模型訓(xùn)練實(shí)戰(zhàn)等具體應(yīng)用，旨在從應(yīng)用的角度加深讀者對(duì)預(yù)訓(xùn)練語(yǔ)言模型理論的理解，便于讀者在實(shí)踐中提高技能，達(dá)到理論和實(shí)踐的統(tǒng)一。
本書(shū)適合計(jì)算機(jī)相關(guān)專(zhuān)業(yè)的學(xué)生，以及其他對(duì)預(yù)訓(xùn)練語(yǔ)言模型感興趣的讀者閱讀。
基礎(chǔ)知識(shí)：全面、系統(tǒng)介紹預(yù)訓(xùn)練語(yǔ)言模型的相關(guān)知識(shí)；
預(yù)訓(xùn)練語(yǔ)言模型：介紹具有代表性的預(yù)訓(xùn)練語(yǔ)言模型的原理和機(jī)制；
實(shí)踐與應(yīng)用：介紹知識(shí)庫(kù)問(wèn)答系統(tǒng)、基于自然語(yǔ)言處理任務(wù)應(yīng)用研究、大模型訓(xùn)練實(shí)戰(zhàn)等具體應(yīng)用。
自然語(yǔ)言處理工程師，在機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和自然語(yǔ)言處理領(lǐng)域有十余年的算法研發(fā)經(jīng)驗(yàn)，曾在一線大廠阿里巴巴、京東等擔(dān)任過(guò)資深算法工程師和算法經(jīng)理等職，現(xiàn)在在世界500強(qiáng)公司擔(dān)任自然語(yǔ)言處理團(tuán)隊(duì)負(fù)責(zé)人，負(fù)責(zé)過(guò)金融和醫(yī)療領(lǐng)域的知識(shí)圖譜、智能問(wèn)答系統(tǒng)、文本生成系統(tǒng)等企業(yè)級(jí)核心項(xiàng)目。
目 錄
第 一部分 基礎(chǔ)知識(shí)
第 1章 自然語(yǔ)言處理介紹2
1.1 什么是自然語(yǔ)言處理2
1.2 自然語(yǔ)言處理的發(fā)展歷史2
1.3 自然語(yǔ)言的特性3
1.3.1 歧義性4
1.3.2 主觀性4
1.3.3 創(chuàng)造性4
1.3.4 社會(huì)性5
1.4 自然語(yǔ)言處理的研究領(lǐng)域6
1.5 自然語(yǔ)言處理的常規(guī)任務(wù)6
1.5.1 機(jī)器翻譯7
1.5.2 信息抽取8
1.6 自然語(yǔ)言處理的常用工具12
1.6.1 常用工具12
1.6.2 PyTorch介紹13
第 2章 神經(jīng)網(wǎng)絡(luò)預(yù)備知識(shí)18
2.1 神經(jīng)網(wǎng)絡(luò)核心概念18
2.1.1 導(dǎo)數(shù)和梯度18
2.1.2 鏈?zhǔn)椒▌t20
2.1.3 損失函數(shù)22
2.1.4 前向傳播與反向傳播24
2.1.5 激活函數(shù)28
2.2 神經(jīng)網(wǎng)絡(luò)主要類(lèi)型33
2.2.1 全連接神經(jīng)網(wǎng)絡(luò)33
2.2.2 卷積神經(jīng)網(wǎng)絡(luò)34
2.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)36
2.2.4 長(zhǎng)短期記憶網(wǎng)絡(luò)38
2.2.5 自編碼器40
2.2.6 生成對(duì)抗網(wǎng)絡(luò)41
第3章 預(yù)訓(xùn)練語(yǔ)言模型基礎(chǔ)知識(shí)44
3.1 什么是預(yù)訓(xùn)練44
3.2 文本表示方法的分類(lèi)45
3.3 詞袋型文本表示方法46
3.3.1 獨(dú)熱編碼46
3.3.2 詞袋模型47
3.3.3 N-gram49
3.3.4 TF-IDF51
3.4 主題型文本表示方法53
3.4.1 LSA53
3.4.2 LDA57
3.5 固定型詞向量文本表示方法59
3.5.1 Word2Vec59
3.5.2 GloVe70
3.5.3 FastText75
3.6 動(dòng)態(tài)型詞向量文本表示方法77
3.6.1 ELMo77
3.6.2 ELMo實(shí)現(xiàn)78
第二部分 預(yù)訓(xùn)練語(yǔ)言模型
第4章 注意力機(jī)制和Transformer
模型82
4.1 注意力機(jī)制簡(jiǎn)介82
4.1.1 什么是注意力機(jī)制82
4.1.2 自注意力機(jī)制88
4.1.3 多頭注意力機(jī)制95
4.2 Transformer模型97
4.2.1 編碼器部分98
4.2.2 解碼器部分101
4.2.3 模型示例104
第5章 BERT和變種BERT110
5.1 BERT110
5.1.1 BERT模型結(jié)構(gòu)110
5.1.2 BERT輸入表示112
5.1.3 BERT預(yù)訓(xùn)練113
5.1.4 BERT微調(diào)訓(xùn)練117
5.1.5 模型示例120
5.2 變種BERT122
5.2.1 ALBERT122
5.2.2 XLNet123
5.2.3 RoBERTa127
5.2.4 ELECTRA129
5.2.5 ERNIE132
第6章 GPT和提示工程137
6.1 GPT系列137
6.1.1 GPT-1137
6.1.2 GPT-2140
6.1.3 GPT-3142
6.1.4 InstructGPT和ChatGPT144
6.1.5 GPT-4147
6.2 Prompt148
6.2.1 什么是提示工程148
6.2.2 構(gòu)建提示模板的方法151
6.2.3 提示工程常用技術(shù)152
6.2.4 提示詞應(yīng)用示例157
第三部分 實(shí)踐與應(yīng)用
第7章 基于LangChain和ChatGLM-6B的知識(shí)庫(kù)問(wèn)答系統(tǒng)166
7.1 核心組件166
7.1.1 LangChain166
7.1.2 ChatGLM-6B169
7.2 構(gòu)建流程172
7.2.1 本地知識(shí)庫(kù)構(gòu)建172
7.2.2 基于知識(shí)庫(kù)的問(wèn)答系統(tǒng)
構(gòu)建173
7.3 趨勢(shì)與挑戰(zhàn)176
7.3.1 發(fā)展趨勢(shì)176
7.3.2 面臨的挑戰(zhàn)177
第8章 基于大型語(yǔ)言模型的自然語(yǔ)言處理任務(wù)應(yīng)用研究178
8.1 文本分類(lèi)任務(wù)178
8.1.1 任務(wù)描述178
8.1.2 提示詞設(shè)計(jì)179
8.1.3 實(shí)現(xiàn)與測(cè)試180
8.2 信息抽取任務(wù)182
8.2.1 任務(wù)描述182
8.2.2 提示詞設(shè)計(jì)183
8.2.3 實(shí)現(xiàn)與測(cè)試184
8.3 文本匹配任務(wù)186
8.3.1 任務(wù)描述187
8.3.2 提示詞設(shè)計(jì)187
8.3.3 實(shí)現(xiàn)與測(cè)試187
第9章 大模型訓(xùn)練實(shí)戰(zhàn)190
9.1 預(yù)訓(xùn)練階段190
9.1.1 數(shù)據(jù)準(zhǔn)備190
9.1.2 數(shù)據(jù)處理191
9.1.3 詞表擴(kuò)充192
9.1.4 模型預(yù)訓(xùn)練193
9.1.5 模型效果評(píng)測(cè)195
9.2 指令微調(diào)階段197
9.2.1 指令微調(diào)197
9.2.2 數(shù)據(jù)集準(zhǔn)備199
9.2.3 指令微調(diào)模板202
9.3 獎(jiǎng)勵(lì)模型204
9.3.1 直接打分204
9.3.2 排序打分207
9.4 RLHF微調(diào)211
9.4.1 流程介紹211
9.4.2 具體實(shí)現(xiàn)211
9.5 大模型評(píng)測(cè)214
9.5.1 評(píng)測(cè)內(nèi)容214
9.5.2 評(píng)測(cè)方法215
9.5.3 評(píng)測(cè)挑戰(zhàn)216
書(shū)單推薦
