目錄
第1章 緒論 1
1.1 大數(shù)據(jù)技術(shù)概述 1
1.1.1 數(shù)據(jù)的基本概念 1
1.1.2 大數(shù)據(jù)概念及技術(shù)體系 5
1.2 大數(shù)據(jù)計(jì)算概述 17
1.2.1 計(jì)算與算力 17
1.2.2 大數(shù)據(jù)計(jì)算技術(shù) 18
1.3 本書的組織結(jié)構(gòu) 21
1.4 本章小結(jié) 21
第2章 大數(shù)據(jù)存儲(chǔ) 23
2.1 大數(shù)據(jù)存儲(chǔ)概述 23
2.1.1 大數(shù)據(jù)存儲(chǔ)發(fā)展 23
2.1.2 當(dāng)前數(shù)據(jù)存儲(chǔ)與計(jì)算發(fā)展的特點(diǎn) 24
2.1.3 大數(shù)據(jù)計(jì)算與存儲(chǔ)的本質(zhì)關(guān)系 25
2.1.4 計(jì)算需求驅(qū)動(dòng)的存儲(chǔ)架構(gòu)設(shè)計(jì) 26
2.2 分布式文件系統(tǒng) 27
2.2.1 分布式文件系統(tǒng)的概念 27
2.2.2 分布式文件系統(tǒng)的結(jié)構(gòu) 28
2.3 分布式數(shù)據(jù)庫 28
2.3.1 HBase 簡(jiǎn)介 28
2.3.2 HBase 與傳統(tǒng)關(guān)系數(shù)據(jù)庫的對(duì)比分析 29
2.3.3 訪問接口 29
2.4 NoSQL 數(shù)據(jù)庫 30
2.4.1 鍵值數(shù)據(jù)庫 30
2.4.2 列值數(shù)據(jù)庫 31
2.4.3 文檔數(shù)據(jù)庫 31
2.4.4 圖數(shù)據(jù)庫 32
2.4.5 時(shí)序數(shù)據(jù)庫 33
2.4.6 空間數(shù)據(jù)庫 35
2.4.7 向量數(shù)據(jù)庫 37
2.5 本章小結(jié) 40
第3章 大數(shù)據(jù)分析與可視化 41
3.1 大數(shù)據(jù)分析概述 41
3.1.1 第四范式—數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn) 41
3.1.2 大數(shù)據(jù)分析類型 42
3.1.3 大數(shù)據(jù)分析的應(yīng)用領(lǐng)域 43
3.2 大數(shù)據(jù)分析常用算法 45
3.2.1 分類 45
3.2.2 聚類 48
3.2.3 集成學(xué)習(xí) 49
3.2.4 關(guān)聯(lián)規(guī)則挖掘 51
3.2.5 回歸 52
3.3 大數(shù)據(jù)可視化概述 54
3.4 文本大數(shù)據(jù)可視化 55
3.4.1 基本流程 56
3.4.2 文本生成視頻 57
3.4.3 應(yīng)用場(chǎng)景 57
3.5 圖大數(shù)據(jù)可視化 57
3.5.1 圖大數(shù)據(jù)可視化挑戰(zhàn) 58
3.5.2 應(yīng)用實(shí)例 59
3.6 大數(shù)據(jù)可視化常用工具 59
3.6.1 Tableau 59
3.6.2 Qlik View 60
3.6.3 Cosmograph 61
3.6.4 基于大語言模型的可視化 61
3.7 本章小結(jié) 62
第4章 大數(shù)據(jù)計(jì)算框架及軟件架構(gòu) 63
4.1 大數(shù)據(jù)計(jì)算的方式 63
4.1.1 大數(shù)據(jù)計(jì)算的特點(diǎn) 63
4.1.2 大數(shù)據(jù)計(jì)算的目標(biāo) 64
4.1.3 數(shù)據(jù)處理方式 65
4.2 大數(shù)據(jù)計(jì)算的方法 67
4.2.1 批處理計(jì)算 67
4.2.2 流式計(jì)算 68
4.2.3 其他計(jì)算 71
4.3 傳統(tǒng)大數(shù)據(jù)軟件架構(gòu) 72
4.3.1 Hadoop 架構(gòu) 72
4.3.2 Spark 架構(gòu) 73
4.3.3 流處理框架 73
4.4 本章小結(jié) 74
第5章 先進(jìn)大數(shù)據(jù)計(jì)算系統(tǒng)框架 75
5.1 領(lǐng)域?qū)Ｓ密浻布�協(xié)同計(jì)算概述 76
5.1.1 計(jì)算機(jī)體系結(jié)構(gòu)基礎(chǔ) 76
5.1.2 計(jì)算機(jī)系統(tǒng)形態(tài)發(fā)展趨勢(shì) 83
5.1.3 領(lǐng)域?qū)Ｓ眉軜?gòu)介紹 86
5.2 領(lǐng)域?qū)Ｓ密浻布�協(xié)同計(jì)算關(guān)鍵技術(shù) 89
5.2.1 領(lǐng)域?qū)Ｓ霉残栽�素抽象方�?89
5.2.2 領(lǐng)域?qū)Ｓ密浖�工具鏈設(shè)計(jì)技術(shù) 93
5.2.3 領(lǐng)域?qū)Ｓ谜Z言 103
5.3 本章小結(jié) 105
第6章 大數(shù)據(jù)計(jì)算系統(tǒng)架構(gòu)模擬仿真 106
6.1 計(jì)算機(jī)模擬仿真技術(shù)簡(jiǎn)介 106
6.1.1 模擬器分類 107
6.1.2 現(xiàn)有模擬器概述 110
6.2 計(jì)算機(jī)體系結(jié)構(gòu)模擬仿真的關(guān)鍵問題及解決技術(shù) 112
6.2.1 模擬精度低 112
6.2.2 模擬速度慢 113
6.2.3 可用性問題 117
6.2.4 易用性問題 119
6.3 多節(jié)點(diǎn)網(wǎng)絡(luò)的系統(tǒng)級(jí)設(shè)計(jì)和仿真 120
6.3.1 計(jì)算機(jī)體系結(jié)構(gòu)模擬仿真的未來發(fā)展趨勢(shì) 121
6.3.2 離散事件模擬與并行化技術(shù) 124
6.3.3 大規(guī)模計(jì)算系統(tǒng)仿真器 125
6.4 本章小結(jié) 133
第7章 先進(jìn)大數(shù)據(jù)計(jì)算系統(tǒng)實(shí)現(xiàn)技術(shù) 134
7.1 典型大數(shù)據(jù)計(jì)算系統(tǒng)加速芯片 134
7.1.1 GPU 134
7.1.2 FPGA 136
7.1.3 TPU 138
7.1.4 DPU 140
7.2 晶圓級(jí)計(jì)算系統(tǒng)實(shí)現(xiàn)技術(shù) 142
7.2.1 晶圓級(jí)計(jì)算系統(tǒng)簡(jiǎn)介142
7.2.2 軟件定義晶上系統(tǒng)的關(guān)鍵技術(shù) 145
7.2.3 軟件定義晶上系統(tǒng)的前景 146
7.3 本章小結(jié) 148
第8章 先進(jìn)大數(shù)據(jù)計(jì)算系統(tǒng)應(yīng)用實(shí)踐 149
8.1 大數(shù)據(jù)試驗(yàn)場(chǎng) 149
8.1.1 大數(shù)據(jù)試驗(yàn)場(chǎng)總體架構(gòu) 149
8.1.2 數(shù)據(jù)資源池建設(shè) 150
8.1.3 試驗(yàn)場(chǎng)基礎(chǔ)設(shè)施建設(shè)151
8.1.4 試驗(yàn)場(chǎng)服務(wù)平臺(tái)建設(shè)156
8.2 醫(yī)保大數(shù)據(jù)稽核 157
8.2.1 醫(yī)�；�核面臨的困難158
8.2.2 醫(yī)保大數(shù)據(jù)稽核技術(shù)能力 158
8.2.3 醫(yī)保大數(shù)據(jù)監(jiān)管稽核體系 161
8.3 遙感大數(shù)據(jù)計(jì)算 164
8.3.1 旋轉(zhuǎn)目標(biāo)識(shí)別背景介紹 164
8.3.2 常用數(shù)據(jù)集與評(píng)價(jià)標(biāo)準(zhǔn) 166
8.3.3 遙感圖像目標(biāo)檢測(cè)識(shí)別算法加速技術(shù) 168
8.4 本章小結(jié) 177
第9章 大數(shù)據(jù)計(jì)算的生態(tài)體系和發(fā)展趨勢(shì) 178
9.1 大數(shù)據(jù)計(jì)算生態(tài)體系 178
9.1.1 大數(shù)據(jù)計(jì)算與知識(shí)工程 178
9.1.2 大數(shù)據(jù)計(jì)算與智能算法 179
9.1.3 大數(shù)據(jù)計(jì)算與算力基礎(chǔ)設(shè)施 181
9.1.4 大數(shù)據(jù)計(jì)算與網(wǎng)絡(luò)安全 181
9.2 大數(shù)據(jù)計(jì)算未來發(fā)展趨勢(shì) 182
9.2.1 數(shù)據(jù)應(yīng)用密集化 182
9.2.2 算力異構(gòu)加速化 182
9.2.3 全局高階互聯(lián)化 183
9.2.4 數(shù)據(jù)安全資產(chǎn)化 183
9.2.5 全棧自主可控化 183
9.2.6 軟硬系統(tǒng)節(jié)能化 184
9.3 本章小結(jié) 184
后記 185
參考文獻(xiàn) 186