目錄
第1章 知識結構化概述 1
1.1 知識工程 1
1.2 知識結構化 4
1.3 應用場景 8
1.4 國內外研究現狀 9
1.4.1 知識圖譜 10
1.4.2 實體抽取 14
1.4.3 關系抽取 15
1.4.4 三元組抽取 16
1.4.5 事件抽取 17
1.5 問題與挑戰(zhàn) 17
1.6 內容組織結構 18
參考文獻 20
第2章 神經網絡基礎 23
2.1 神經網絡的技術優(yōu)勢 23
2.2 常用的神經網絡模型組件 24
2.2.1 詞向量 24
2.2.2 注意力機制 25
2.2.3 卷積神經網絡 26
2.2.4 長短期記憶網絡 26
2.2.5 門控循環(huán)單元 27
2.2.6 Transformer 網絡 28
2.2.7 預訓練語言模型 28
2.2.8 條件隨機場 29
2.3 常用的神經網絡學習策略 30
2.3.1 少樣本學習策略 30
2.3.2 生成對抗訓練策略 31
2.3.3 對比學習策略 32
參考文獻 33
第3章 基于生成對抗訓練方法的嵌套實體抽取框架 35
3.1 問題背景 35
3.2 相關工作 39
3.3 模型方法 40
3.3.1 預備知識 40
3.3.2 框架概述 41
3.3.3 抽取器 41
3.3.4 判別器 44
3.3.5 多任務訓練和預測 45
3.4 實驗與分析 46
3.4.1 數據集介紹 46
3.4.2 實驗設置 46
3.4.3 總體結果 47
3.4.4 消融實驗 47
3.4.5 實體標記的影響 49
3.5 本章小結 49
參考文獻 50
第4章 基于混合多原型的少樣本實體抽取 52
4.1 問題背景 52
4.2 相關工作 54
4.2.1 少樣本學習 54
4.2.2 少樣本實體抽取的解決方案 54
4.3 模型方法 55
4.3.1 預備知識 55
4.3.2 框架概述 56
4.3.3 序列擴充和嵌入 58
4.3.4 混合多原型表示 58
4.3.5 預測與訓練 59
4.4 實驗與分析 59
4.4.1 數據集介紹 60
4.4.2 實驗設置 60
4.4.3 總體結果 61
4.5 本章小結 64
參考文獻 64
第5章 基于多粒度交互對比學習的多模態(tài)實體抽取方法 67
5.1 問題背景 67
5.2 相關工作 69
5.2.1 多模態(tài)命名實體識別 69
5.2.2 多模態(tài)任務中的對比學習 71
5.3 模型方法 71
5.3.1 多模態(tài)表示 72
5.3.2 多粒度對比學習 73
5.3.3 多粒度交互 76
5.3.4 CRF解碼器與損失函數 78
5.4 實驗與分析 78
5.4.1 數據集介紹 78
5.4.2 實驗設置 78
5.4.3 總體結果 79
5.4.4 顯著性測試 79
5.4.5 消融實驗 81
5.4.6 目標數量的影響 81
5.4.7 案例分析 82
5.5 本章小結 84
參考文獻 85
第6章 基于概率圖模型以及嵌入特征的命名實體消歧 88
6.1 問題背景 88
6.2 相關工作 90
6.2.1 命名實體識別 90
6.2.2 候選實體生成 90
6.2.3 候選實體排序 91
6.2.4本章消歧系統框架 92
6.3 模型方法 92
6.3.1 預備知識 92
6.3.2 指稱-實體圖 95
6.3.3 近似算法 96
6.4 實驗與分析 98
6.4.1 數據集介紹 98
6.4.2 實驗設置 99
6.4.3 總體結果 99
6.4.4 特征比較實驗及結果 101
6.5 本章小結 102
參考文獻 103
第7章 面向含噪數據的中文領域關系抽取 105
7.1 問題背景 105
7.2 相關工作 108
7.2.1 基于監(jiān)督學習的關系抽取方法 108
7.2.2 基于依存路徑的關系抽取方法 109
7.2.3 基于遠程監(jiān)督的關系抽取方法 109
7.2.4 面向含嗓文本的關系抽取方法 109
7.3 模型方法 110
7.3.1 預備知識 111
7.3.2 嵌入表示 114
7.3.3 卷積和最大池化 115
7.3.4 實體集成的注意力多實例學習方法 116
7.3.5 Softmax輸出 117
7.4 實驗與分析 118
7.4.1 數據集介紹 118
7.4.2 實驗設置 119
7.4.3 保留評估 120
7.4.4 多實例學習方法對比 121
7.4.5 交叉驗證 123
7.4.6 消融實驗 124
7.4.7 人工評估 125
7.5本章小結 126
參考文獻 127
第8章 基于遠程監(jiān)督的少樣本關系抽取方法 130
8.1 問題背景 130
8.2 相關工作 134
8.2.1 基于遠程監(jiān)督的關系抽取方法 134
8.2.2 基于少樣本學習的關系抽取方法 135
8.3 模型方法 136
8.3.1 預備知識 136
8.3.2 句子編碼器 137
8.3.3 原型網絡 141
8.4 實驗與分析 141
8.4.1 數據集介紹 142
8.4.2 實驗設置 142
8.4.3 總體結果 143
8.4.4 多實例學習方法對比 144
8.4.5 實例袋向量表示可視化 144
8.5 本章小結 145
參考文獻 146
第9章 基于遷移排序模型的三元組抽取技術 149
9.1 問題背景 149
9.2 相關工作 152
9.2.1 基于實體關系聯合抽取的方法 152
9.2.2 基于實體抽取的方法 152
9.2.3 基于關系分類的方法 153
9.3 模型方法 153
9.3.1 模型框架 153
9.3.2 實體抽M塊 154
9.3.3 三部分標注方案 156
9.3.4 多層遷移模型 157
9.3.5 模型的訓練和抽取 158
9.4 實驗與分析 161
9.4.1 數據集介紹 161
9.4.2 實驗設置 162
9.4.3 總體結果 163
9.5 本章小結 167
參考文獻 167
第10章 融合對抗訓練的端到端知識三元組聯合抽取 171
10.1 問題背景 171
10.2 相關工作 173
10.2.1 流水線式方法 173
10.2.2 聯合學習方法 174
10.2.3 對抗訓練方法 174
10.3 模型方法 175
10.3.1 標注策略 176
10.3.2 表示層 177
10.3.3 雙向長短期記憶網絡編碼層 178
10.3.4 自注意力層 179
10.3.5 長短期記憶網絡解碼層 179
10.3.6 Softmax分類層 181
10.3.7 對抗訓練 182
10.4 實驗與分析 183
10.4.1 數據集介紹 183
10.4.2 實驗設置 183
10.4.3 總體結果 184
10.4.4 消融實驗 187
10.4.5 誤差分析 188
10.5 本章小結 189
參考文獻 190
第11章 基于視圖轉移網絡的少樣本關系三元組抽取 193
11.1 問題背景 193
11.2 相關工作 195
11.2.1 基于監(jiān)督學習的方法 195
11.2.2 基于少樣本學習的方法 195
11.3 模型方法 196
11.3.1 模型框架 196
11.3.2 關系視圖 197
11.3.3 實體視圖 198
11.3.4 三元組視圖 199
11.4 驗與分析 200
11.4.1 數據集介紹 200
11.4.2 實驗設置 201
11.4.3 總體結果 202
11.5 本章小結 205
參考文獻 205
第12章 利用多語言線索進行事件檢測的混合注意力網絡 208
12.1 問題背景 208
12.2 相關工作 210
12.2.1 基于特征工程的事件檢測方法 210
12.2.2 基于神經網絡的事件檢測方法 210
12.2.3 基于遠程監(jiān)督的事件檢測方法 211
12.2.4 多語言方法 211
12.3 模型方法 211
12.3.1 多語言表示層 212
12.3.2 注意力層 213
12.3.3 訓練與預測 215
12.4 實驗與分析 216
12.4.1 數據集介紹 216
12.4.2 實驗設置 216
12.4.3 總體結果 216
12.4.4 多語言的效果驗證 219
12.5 本章小結 220
參考文獻 221
第13章 基于差異性神經表示的事件檢測方法 223
13.1 問題背景 223
13.2 相關工作 225
13.2.1 基于特征的方法 225
13.2.2 基于增強的方法 226
13.2.3 基于神經網絡的方法 226
13.3 模型方法 227
13.3.1 模型框架 227
13.3.2 編碼模塊 228
13.3.3 對比學習模塊 229
13.3.4 Mixspan模塊 231
13.3.5 模型訓練與預測 233
13.4 實驗與分析 234
13.4.1 數據集介紹 234
13.4.2 實驗設置 235
13.4.3 總體結果 236
13.5 本章小結 241
參考文獻 241
第14章 基于分層策略網絡的事件抽取方法 244
14.1 問題背景 244
14.2 相關工作 246
14.2.1 流水線式事件抽取方法 246
14.2.2 聯合事件抽取方法 246
14.2.3 策略網絡方法 247
14.3 模型方法 247
14.3.1 事件級策略網絡 248
14.3.2 論元級策略網絡 250
14.3.3 分雇訓練 252
14.4 實驗與分析 253
14.4.1 數據集介紹 253
14.4.2 實驗設置 254
14.4.3 總體結果 254
14.4.4 分展框架的效果評估 255
14.4.5 策略網絡的效果 256
14.5 本章小結 257
參考文獻 257
第15章 知識結構化未來展望 259
15.1 總結 259
15.2 未來展望 262
15.2.1 實體抽取技術 262
15.2.2 三元組抽取技術 264
15.2.3 事件抽取技術 265
15.3 大語言模型技術 267
參考文獻 268