本書從概念、思維、存儲和處理、分析與應用等方面系統(tǒng)介紹了大數據的相關知識，主要內容包括：大數據的基本概念，大數據思維，大數據采集與獲取技術，大數據批處理、流式處理和交互式處理框架，Hadoop?項目結構與技術分布，分布式并行編程MapReduce?模型，Spark?技術架構和基本流程，數據特征工程及數據可視化等內容，通過大數據與人工智能技術助力新冠疫情防控、非法集資預警、大型活動安全預警、智慧法院數據融合分析與集成應用等案例，再現場景、數據、數據分析特征選擇及分析技術應用的過程，有助于讀者對大數據技術、分析及應用有更深刻的體會和了解。本書可作為高等院校計算機、大數據等相關專業(yè)的大數據課程導論教材，也可供相關技術人員參考。
方建文，男，所長/教授，衢州學院電氣與信息工程學院，獲得浙江大學 計算機科學與技術專業(yè) 工學博士
第1章 大數據概述 1
1.1 數據 1
1.1.1 數據的概念 1
1.1.2 大數據的概念 1
1.2 大數據發(fā)展的技術背景 2
1.2.1 互聯(lián)網技術的發(fā)展 2
1.2.2 存儲技術的發(fā)展 2
1.2.3 計算能力的發(fā)展 2
1.3 大數據的主要來源 3
1.3.1 互聯(lián)網大數據 3
1.3.2 傳統(tǒng)行業(yè)大數據 3
1.3.3 音頻、視頻和數據 4
1.3.4 移動設備的實時記錄與跟蹤 4
1.4 大數據的特征 5
1.4.1 規(guī)模性 5
1.4.2 多樣性 6
1.4.3 高速性 6
1.4.4 價值密度低 6
1.5 大數據的應用 6
1.5.1 大數據的應用環(huán)境 6
1.5.2 大數據的應用領域 7
1.6 中國的大數據產業(yè)鏈 7
1.7 我國大數據的發(fā)展態(tài)勢 10
1.8 大數據與數字經濟 12
第2章 大數據思維 14
2.1 大數據的思維特點 14
2.1.1 大數據的總體思維 14
2.1.2 大數據的非精確思維 15
2.1.3 大數據的非因果性思維 15
2.1.4 以數據為中心 16
2.1.5 大數據的運營思維 16
2.1.6 數據的收集 16
2.1.7 數據的分類 16
2.2 大數據的應用思維 17
2.3 大數據的價值思維 19
2.3.1 識別與串聯(lián)價值 19
2.3.2 描述價值 19
2.3.3 時間價值 19
2.3.4 組合價值 19
2.3.5 預測價值 20
2.4 大數據的分析思維 20
2.5 大數據分析的特點 21
第3章 大數據采集與獲取技術 25
3.1 數據源分布 25
3.2 內部數據 26
3.2.1 政府內部數據 26
3.2.2 各利益主體自營數據 26
3.2.3 物聯(lián)網數據 27
3.2.4 互聯(lián)網數據 27
3.3 內部數據獲取方法 28
3.3.1 內部數據的ETL技術 28
3.3.2 常用ETL工具說明 30
3.4 外部數據及獲取方法 32
3.4.1 網絡數據源的特性與價值 32
3.4.2 網絡爬蟲 33
3.4.3 網絡爬蟲應用注意事項 34
3.5 深網的數據及獲取的方法 35
3.5.1 深網的含義 35
3.5.2 深網數據的特點 36
3.5.3 深網數據的獲取方法 36
第4章 大數據存儲與管理技術 38
4.1 數據存儲的基本概念 38
4.1.1 存儲容量 38
4.1.2 存儲性能 38
4.1.3 存儲可靠性和可用性 39
4.1.4 存儲成本 40
4.2 常用的數據存儲介質 40
4.2.1 機械硬盤 40
4.2.2 固態(tài)硬盤 41
4.2.3 可記錄光盤 42
4.2.4 U盤 42
4.2.5 閃存卡 43
4.2.6 數據存儲介質的選擇原則 43
4.3 數據存儲模式 43
4.3.1 DAS 44
4.3.2 NAS 45
4.3.3 SAN 46
4.3.4 存儲模型選擇 47
4.4 大數據管理技術 47
4.1.1 文件系統(tǒng) 47
4.4.2 分布式文件系統(tǒng) 48
4.4.3 數據庫 51
4.4.4 鍵-值數據庫 52
4.4.5 分布式數據庫 53
4.4.6 關系型數據庫 54
4.4.7 數據倉庫 55
4.4.8 文檔數據庫 56
4.4.9 圖形數據庫 57
4.4.10 云存儲 58
第5章 大數據處理技術 61
5.1 大數據處理框架分類 61
5.1.1 批處理框架 61
5.1.2 流式處理框架 62
5.1.3 交互式處理框架 63
5.2 Hadoop 63
5.2.1 Hadoop?項目結構及技術分布 64
5.2.2 MapReduce?模型 65
5.3 Spark 67
5.3.1 技術架構 68
5.3.2 基本流程 68
5.3.3 Spark?程序運行流程 69
第6章 大數據分析技術 71
6.1 大數據分析的概念 71
6.2 大數據的處理流程 71
6.3 大數據分析的方法 72
6.4 數據特征工程 73
6.4.1 特征構建 74
6.4.2 特征選擇 75
6.4.3 特征提取 76
6.5 大數據分析的主要技術 76
6.5.1 深度學習 76
6.5.2 知識計算 80
6.6 數據可視化 89
6.6.1 數據可視化分析方法 90
6.6.2 可視化分析的常用工具 92
6.6.3 數據可視化的應用舉例 93
第7章 大數據安全 94
7.1 大數據安全概述 94
7.1.1 大數據安全的意義 95
7.1.2 大數據安全面臨的問題 95
7.2 大數據隱私保護 97
7.2.1 數據保護與保密 98
7.2.2 國內隱私保護相關政策法規(guī) 98
7.3 典型案例 100
7.3.1 棱鏡門事件 100
7.3.2 維基解密 101
7.3.3 Facebook?數據濫用事件 101
7.3.4 手機應用軟件過度采集個人信息 102
7.3.5 12306?數據泄露 103
7.3.6 免費Wi-Fi?竊取用戶信息 103
7.3.7 收集個人隱私信息的“探針盒子” 104
第8章 大數據與云計算、物聯(lián)網、人工智能 105
8.1 云計算 105
8.1.1 云計算的概念 105
8.1.2 云計算的特點 105
8.1.3 云計算的分類 106
8.1.4 云計算的服務模式 107
8.1.5 主流的云計算廠商 108
8.2 物聯(lián)網 111
8.2.1 物聯(lián)網的概念 111
8.2.2 物聯(lián)網的核心技術 111
8.2.3 物聯(lián)網的特點 112
8.3 人工智能 113
8.3.1 人工智能的概念 113
8.3.2 人工智能的關鍵技術 114
8.4 大數據與云計算、物聯(lián)網和人工智能的關系 116
第9章 大數據應用 118
9.1 大數據與人工智能技術在新冠疫情防控中的應用 118
9.1.1 助力新型冠狀病毒疫情防控的進展 118
9.1.2 助力新型冠狀病毒智能醫(yī)療診斷服務 119
9.1.3 助力新型冠狀病毒疫苗研發(fā)和藥物篩選 120
9.1.4 助力抗疫資源的生產組織與調度 120
9.1.5 助力新型冠狀病毒疫情溯源與監(jiān)測預警 121
9.2 大數據用于非法集資預警 122
9.2.1 挑戰(zhàn) 123
9.2.2 實施過程/解決方案 123
9.2.3 效果總結 126
9.3 大數據在大型活動安全預警中的應用 126
9.3.1 問題分析 127
9.3.2 總體架構 127
9.3.3 核心技術 129
9.3.4 實際應用 130
9.4 ?“智慧法院”數據融合分析與集成應用 130
9.4.1 應用背景 130
9.4.2 ?“智慧法院”數據融合分析及集成應用示范平臺架構 131
9.4.3 共性關鍵技術 133
9.4.4 應用案例 135
參考文獻 138
書單推薦
