第1章 大數(shù)據(jù)概述 1
1.1　數(shù)據(jù) 1
1.1.1 數(shù)據(jù)的概念 1
1.1.2 大數(shù)據(jù)的概念 1
1.2　大數(shù)據(jù)發(fā)展的技術背景 2
1.2.1 互聯(lián)網技術的發(fā)展 2
1.2.2 存儲技術的發(fā)展 2
1.2.3 計算能力的發(fā)展 2
1.3　大數(shù)據(jù)的主要來源 3
1.3.1 互聯(lián)網大數(shù)據(jù) 3
1.3.2 傳統(tǒng)行業(yè)大數(shù)據(jù) 3
1.3.3 音頻、視頻和數(shù)據(jù) 4
1.3.4 移動設備的實時記錄與跟蹤 4
1.4　大數(shù)據(jù)的特征 5
1.4.1 規(guī)模性 5
1.4.2 多樣性 6
1.4.3 高速性 6
1.4.4 價值密度低 6
1.5　大數(shù)據(jù)的應用 6
1.5.1 大數(shù)據(jù)的應用環(huán)境 6
1.5.2 大數(shù)據(jù)的應用領域 7
1.6 中國的大數(shù)據(jù)產業(yè)鏈 7
1.7 我國大數(shù)據(jù)的發(fā)展態(tài)勢 10
1.8 大數(shù)據(jù)與數(shù)字經濟 12
第2章 大數(shù)據(jù)思維 14
2.1 大數(shù)據(jù)的思維特點 14
2.1.1 大數(shù)據(jù)的總體思維 14
2.1.2 大數(shù)據(jù)的非精確思維 15
2.1.3 大數(shù)據(jù)的非因果性思維 15
2.1.4 以數(shù)據(jù)為中心 16
2.1.5 大數(shù)據(jù)的運營思維 16
2.1.6 數(shù)據(jù)的收集 16
2.1.7 數(shù)據(jù)的分類 16
2.2 大數(shù)據(jù)的應用思維 17
2.3 大數(shù)據(jù)的價值思維 19
2.3.1 識別與串聯(lián)價值 19
2.3.2 描述價值 19
2.3.3 時間價值 19
2.3.4 組合價值 19
2.3.5 預測價值 20
2.4 大數(shù)據(jù)的分析思維 20
2.5 大數(shù)據(jù)分析的特點 21
第3章 大數(shù)據(jù)采集與獲取技術 25
3.1 數(shù)據(jù)源分布 25
3.2 內部數(shù)據(jù) 26
3.2.1 政府內部數(shù)據(jù) 26
3.2.2 各利益主體自營數(shù)據(jù) 26
3.2.3 物聯(lián)網數(shù)據(jù) 27
3.2.4 互聯(lián)網數(shù)據(jù) 27
3.3 內部數(shù)據(jù)獲取方法 28
3.3.1 內部數(shù)據(jù)的ETL技術 28
3.3.2 常用ETL工具說明 30
3.4 外部數(shù)據(jù)及獲取方法 32
3.4.1 網絡數(shù)據(jù)源的特性與價值 32
3.4.2 網絡爬蟲 33
3.4.3 網絡爬蟲應用注意事項 34
3.5 深網的數(shù)據(jù)及獲取的方法 35
3.5.1 深網的含義 35
3.5.2 深網數(shù)據(jù)的特點 36
3.5.3 深網數(shù)據(jù)的獲取方法 36
第4章 大數(shù)據(jù)存儲與管理技術 38
4.1 數(shù)據(jù)存儲的基本概念 38
4.1.1 存儲容量 38
4.1.2 存儲性能 38
4.1.3 存儲可靠性和可用性 39
4.1.4 存儲成本 40
4.2 常用的數(shù)據(jù)存儲介質 40
4.2.1 機械硬盤 40
4.2.2 固態(tài)硬盤 41
4.2.3 可記錄光盤 42
4.2.4 U盤 42
4.2.5 閃存卡 43
4.2.6 數(shù)據(jù)存儲介質的選擇原則 43
4.3 數(shù)據(jù)存儲模式 43
4.3.1 DAS 44
4.3.2 NAS 45
4.3.3 SAN 46
4.3.4 存儲模型選擇 47
4.4 大數(shù)據(jù)管理技術 47
4.1.1 文件系統(tǒng) 47
4.4.2 分布式文件系統(tǒng) 48
4.4.3 數(shù)據(jù)庫 51
4.4.4 鍵-值數(shù)據(jù)庫 52
4.4.5 分布式數(shù)據(jù)庫 53
4.4.6 關系型數(shù)據(jù)庫 54
4.4.7 數(shù)據(jù)倉庫 55
4.4.8 文檔數(shù)據(jù)庫 56
4.4.9 圖形數(shù)據(jù)庫 57
4.4.10 云存儲 58
第5章 大數(shù)據(jù)處理技術 61
5.1 大數(shù)據(jù)處理框架分類 61
5.1.1 批處理框架 61
5.1.2 流式處理框架 62
5.1.3 交互式處理框架 63
5.2 Hadoop 63
5.2.1 Hadoop?項目結構及技術分布 64
5.2.2 MapReduce?模型 65
5.3 Spark 67
5.3.1 技術架構 68
5.3.2 基本流程 68
5.3.3 Spark?程序運行流程 69
第6章 大數(shù)據(jù)分析技術 71
6.1 大數(shù)據(jù)分析的概念 71
6.2 大數(shù)據(jù)的處理流程 71
6.3 大數(shù)據(jù)分析的方法 72
6.4 數(shù)據(jù)特征工程 73
6.4.1 特征構建 74
6.4.2 特征選擇 75
6.4.3 特征提取 76
6.5 大數(shù)據(jù)分析的主要技術 76
6.5.1 深度學習 76
6.5.2 知識計算 80
6.6 數(shù)據(jù)可視化 89
6.6.1 數(shù)據(jù)可視化分析方法 90
6.6.2 可視化分析的常用工具 92
6.6.3 數(shù)據(jù)可視化的應用舉例 93
第7章 大數(shù)據(jù)安全 94
7.1 大數(shù)據(jù)安全概述 94
7.1.1 大數(shù)據(jù)安全的意義 95
7.1.2 大數(shù)據(jù)安全面臨的問題 95
7.2 大數(shù)據(jù)隱私保護 97
7.2.1 數(shù)據(jù)保護與保密 98
7.2.2 國內隱私保護相關政策法規(guī) 98
7.3 典型案例 100
7.3.1 棱鏡門事件 100
7.3.2 維基解密 101
7.3.3 Facebook?數(shù)據(jù)濫用事件 101
7.3.4 手機應用軟件過度采集個人信息 102
7.3.5 12306?數(shù)據(jù)泄露 103
7.3.6 免費Wi-Fi?竊取用戶信息 103
7.3.7 收集個人隱私信息的“探針盒子” 104
第8章 大數(shù)據(jù)與云計算、物聯(lián)網、人工智能 105
8.1 云計算 105
8.1.1 云計算的概念 105
8.1.2 云計算的特點 105
8.1.3 云計算的分類 106
8.1.4 云計算的服務模式 107
8.1.5 主流的云計算廠商 108
8.2 物聯(lián)網 111
8.2.1 物聯(lián)網的概念 111
8.2.2 物聯(lián)網的核心技術 111
8.2.3 物聯(lián)網的特點 112
8.3 人工智能 113
8.3.1 人工智能的概念 113
8.3.2 人工智能的關鍵技術 114
8.4 大數(shù)據(jù)與云計算、物聯(lián)網和人工智能的關系 116
第9章 大數(shù)據(jù)應用 118
9.1 大數(shù)據(jù)與人工智能技術在新冠疫情防控中的應用 118
9.1.1 助力新型冠狀病毒疫情防控的進展 118
9.1.2 助力新型冠狀病毒智能醫(yī)療診斷服務 119
9.1.3 助力新型冠狀病毒疫苗研發(fā)和藥物篩選 120
9.1.4 助力抗疫資源的生產組織與調度 120
9.1.5 助力新型冠狀病毒疫情溯源與監(jiān)測預警 121
9.2 大數(shù)據(jù)用于非法集資預警 122
9.2.1 挑戰(zhàn) 123
9.2.2 實施過程/解決方案 123
9.2.3 效果總結 126
9.3 大數(shù)據(jù)在大型活動安全預警中的應用 126
9.3.1 問題分析 127
9.3.2 總體架構 127
9.3.3 核心技術 129
9.3.4 實際應用 130
9.4 ?“智慧法院”數(shù)據(jù)融合分析與集成應用 130
9.4.1 應用背景 130
9.4.2 ?“智慧法院”數(shù)據(jù)融合分析及集成應用示范平臺架構 131
9.4.3 共性關鍵技術 133
9.4.4 應用案例 135
參考文獻 138