第1章 大數據分析概論 1
課前自學 2
一、數據及其分類 2
二、大數據的概念 3
三、大數據產生的原因 4
四、大數據的作用 5
五、大數據對科學研究的影響 6
課中實訓：崗位數據采集與分析 7
任務1：人才供需現狀分析 8
任務2：數據采集與處理 9
任務3：詞頻統(tǒng)計與分析 11
課后拓展 13
本章小結 16
第2章 需求分析與指標體系構建 17
課前自學 18
一、數據分析的基本流程 18
二、數據分析指標體系 19
三、基礎數據分析方法 22
四、描述統(tǒng)計 25
課中實訓 26
任務1：城市跨境電商指標體系設計
(以W市為例) 26
任務2：設置數據分析工具庫 28
任務3：跨境電商數據描述統(tǒng)計 30
課后拓展 32
一、常見的數據分析方法論模型 32
二、數據分析指數 35
本章小結 37
第3章 大數據存儲與管理 38
課前自學 39
一、數據庫基礎知識 39
二、SQL查詢基礎知識 40
課中實訓 41
任務1：MySQL數據庫安裝與
配置 41
任務2：使用Navicat Premium
管理MySQL數據庫 45
任務3：數據表結構設計 45
任務4：數據庫查詢操作 49
課后拓展 51
一、MongoDB的安裝與數據模型
介紹 51
二、HBase數據庫簡介 52
本章小結 52
第4章 云計算與大數據的集成應用 53
課前自學 54
一、云計算的概念 54
二、云計算概念模型的特點 55
三、云計算的部署模式 56
四、云計算的服務模式(IaaS、PaaS
和SaaS) 59
五、云計算與大數據架構：
以Google為例 60
課中實訓 62
任務1：配置單臺虛擬機環(huán)境 63
任務2：安裝CentOS 7操作系統(tǒng)
并配置網絡 66
任務3：克隆并配置多臺虛擬機 69
任務4：Linux的常見操作 72
任務5：設置主機之間的免密登錄 74
任務6：在Liunx平臺下安裝JAVA
運行環(huán)境 75
任務7：配置hadoop環(huán)境 77
任務8：基于HDFS的MapReduce
詞頻數據分析 83
課后拓展 86
本章小結 91
第5章 網頁結構分析與Python編程
基礎 92
課前自學 93
一、網頁的基本結構 93
二、Python簡介與特點 95
三、Python基礎語法 96
課中實訓 97
任務1：Python開發(fā)環(huán)境配置 97
任務2：Python基礎案例 100
任務3：網頁數據的請求與響應 103
任務4：使用Python連接MySQL
數據庫 106
課后拓展 108
本章小結 109
第6章 大數據采集 110
課前自學 111
一、大數據采集技術 111
二、Scrapy框架簡介 112
課中實訓 113
任務1：安裝并啟動Scrapy爬蟲
框架 113
任務2：通過XPath對網頁進行
解析 115
任務3：獲取電商平臺類目信息 119
課后拓展 120
本章小結 121
第7章 大數據預處理 122
課前自學 123
一、數據處理過程中的常見問題
及原因 123
二、數據預處理的流程與方法 124
課中實訓 128
任務1：使用Excel進行數據
預處理 128
任務2：使用OpenRefine進行數據
預處理 130
任務3：使用Python進行數據
預處理 137
課后拓展 140
一、讀取數據文件的常用方法 140
二、Python中常見的數據預處理
函數 141
本章小結 141
第8章 大數據與機器學習基礎 142
課前自學 143
一、大數據分析方法與方法論 143
二、數據分析與數據挖掘相關
概念 144
三、機器學習：讓系統(tǒng)更聰明 146
課中實訓 152
任務1：Python機器學習庫配置 152
任務2：基于跨境電商數據的特征
分析 155
任務3：基于Apriori算法的金融
產品組合 158
課后拓展 160
本章小結 162
第9章 大數據可視化 163
課前自學 164
一、數據可視化基礎 164
二、典型圖表介紹 165
課中實訓 171
任務1：基于ECHARTS和Excel的
圖表可視化 171
任務2：使用Matplotlib繪制
折線圖 173
任務3：使用Matplotlib繪制
散點圖 175
任務4：讀取數據并繪制散點圖 176
任務5：對短視頻數據進行探索性
分析 177
課后拓展 184
本章小結 185
第10章 金融客戶數據案例分析 186
課前自學 187
一、需求分析 187
二、數據挖掘分析相關技術 188
課中實訓 189
任務1：探索性分析 189
任務2：數據預處理：判斷異常值
和降維處理 189
任務3：K最近鄰算法分析 193
任務4：邏輯回歸算法分析 194
任務5：決策樹算法分析 196
課后拓展 199
本章小結 200
第11章 交通大數據綜合案例分析 201
課前自學 202
一、數據集類型 202
二、交通大數據處理需求分析 203
課中實訓 204
任務1：數據分析流程設計 204
任務2：數據預處理 208
任務3：模型訓練與數據預測 212
任務4：數據輸出 214
課后拓展 215
本章小結 218
參考文獻 219