前言
第1篇 緒論
第1章 背景2
1.1 機器學習的概念2
1.2 機器學習所解決的問題3
1.2.1 有監(jiān)督學習問題3
1.2.2 無監(jiān)督學習4
1.3 如何選擇機器學習算法5
1.4 習題5
第2章 機器學習算法框架概要7
2.1 算法框架的分層模型7
2.2 分層模型中各層級的職責8
2.3 開始搭建框架的準備工作8
2.3.1 使用Java開發(fā)的準備工作8
2.3.2 使用Python開發(fā)的準備工作13
第2篇 代數(shù)矩陣運算層
第3章 矩陣運算庫20
3.1 矩陣運算庫概述20
3.2 矩陣基本運算的實現(xiàn)20
3.2.1 矩陣的數(shù)據(jù)結構20
3.2.2 矩陣的加法和減法22
3.2.3 矩陣的乘法和點乘24
3.2.4 矩陣的轉(zhuǎn)置26
3.3 矩陣的其他操作27
3.2.1 生成單位矩陣27
3.3.2 矩陣的復制28
3.3.3 矩陣的合并29
3.4 習題32
第4章 矩陣相關函數(shù)的實現(xiàn)33
4.1 常用函數(shù)33
4.1.1 協(xié)方差函數(shù)33
4.1.2 均值函數(shù)34
4.1.3 歸一化函數(shù)36
4.1.4 最大值函數(shù)38
4.1.5 最小值函數(shù)40
4.2 行列式函數(shù)41
4.3 矩陣求逆函數(shù)43
4.4 矩陣特征值和特征向量函數(shù)44
4.5 矩陣正交化函數(shù)45
4.5.1 向量單位化45
4.5.2 矩陣正交化47
4.6 習題49
第3篇 最優(yōu)化方法層
第5章 最速下降優(yōu)化器52
5.1 最速下降優(yōu)化方法概述52
5.1.1 模型參數(shù)優(yōu)化的目標52
5.1.2 最速下降優(yōu)化方法53
5.2 最速下降優(yōu)化器的實現(xiàn)54
5.2.1 參數(shù)優(yōu)化器的接口設計54
5.2.2 最速下降優(yōu)化器的具體實現(xiàn)57
5.3 一個目標函數(shù)的優(yōu)化例子62
5.3.1 單元測試示例：偏導數(shù)的計算62
5.3.2 單元測試示例：目標函數(shù)的參數(shù)優(yōu)化64
5.4 習題66
第6章 遺傳算法優(yōu)化器67
6.1 遺傳算法概述67
6.1.1 遺傳算法的目標67
6.1.2 遺傳算法的基本過程68
6.2 遺傳算法優(yōu)化器的實現(xiàn)71
6.2.1 遺傳算法優(yōu)化器主體流程的實現(xiàn)71
6.2.2 遺傳算法優(yōu)化器各算子的實現(xiàn)74
6.3 一個目標函數(shù)的優(yōu)化例子82
6.4 習題85
第4篇 算法模型層
第7章 分類和回歸模型88
7.1 分類和回歸模型概述88
7.2 基礎回歸模型89
7.2.1 線性回歸模型89
7.2.2 對數(shù)回歸模型92
7.2.3 指數(shù)回歸模型94
7.2.4 冪函數(shù)回歸模型97
7.2.5 多項式回歸模型100
7.3 分類回歸分析的例子102
7.3.1 示例：驗證對數(shù)回歸模型102
7.3.2 示例：對比不同模型104
7.4 習題108
第8章 多層神經(jīng)網(wǎng)絡模型109
8.1 多層神經(jīng)網(wǎng)絡模型概述109
8.1.1 網(wǎng)絡模型的表達形式109
8.1.2 前饋運算111
8.1.3 反向傳播112
8.2 多層神經(jīng)網(wǎng)絡模型的實現(xiàn)115
8.3 多層神經(jīng)網(wǎng)絡模型示例122
8.4 習題125
第9章 聚類模型126
9.1 K-means模型126
9.1.1 K-means聚類模型概述126
9.1.2 K-means模型的實現(xiàn)128
9.1.3 示例：一個聚類的例子131
9.2 GMM134
9.2.1 從一維高斯函數(shù)到多維高斯函數(shù)134
9.2.2 GMM概述136
9.2.3 GMM的實現(xiàn)139
9.2.4 示例：對比K-means模型144
9.3 習題147
第10章 時間序列模型148
10.1 指數(shù)平滑模型148
10.1.1 移動平均模型148
10.1.2 一次指數(shù)平滑模型149
10.1.3 二次指數(shù)平滑模型150
10.2 Holt-Winters模型150
10.2.1 Holt-Winters模型概述150
10.2.2 Holt-Winters模型的實現(xiàn)151
10.2.3 示例：時間序列的預測156
10.3 習題160
第11章 降維和特征提取161
11.1 降維的目的161
11.2 主成分分析模型162
11.2.1 主成分分析方法概述162
11.2.2 主成分分析模型的實現(xiàn)165
11.2.3 示例：降維提取主要特征167
11.3 自動編碼機模型170
11.3.1 非線性的主成分分析170
11.3.2 自動編碼機原理概述171
11.3.3 自動編碼機模型的實現(xiàn)172
11.3.4 示例：對比主成分分析173
11.4 習題176
第5篇 業(yè)務功能層
第12章 時間序列異常檢測178
12.1 時間序列異常檢測的應用場景178
12.2 時間序列異常檢測的基本原理178
12.2.1 基于預測的時間序列異常檢測179
12.2.2 閾值的估計179
12.3 時間序列異常檢測功能服務的實現(xiàn)180
12.4 應用實例：找出數(shù)據(jù)中的異常記錄182
12.5 習題183
第13章 離群點檢測184
13.1 離群點檢測的應用場景184
13.2 離群點檢測的基本原理185
13.2.1 基于多維高斯函數(shù)檢測離群點186
13.2.2 數(shù)據(jù)的有效降維188
13.3 離群點檢測功能服務的實現(xiàn)188
13.4 應用實例：找出數(shù)據(jù)中的異常記錄191
13.5 習題193
第14章 趨勢線擬合194
14.1 趨勢線擬合的應用場景194
14.2 趨勢線擬合的基本原理195
14.2.1 基于不同基礎回歸模型的擬合196
14.2.2 選取合適的回歸模型196
14.3 趨勢線擬合功能服務的實現(xiàn)196
14.4 應用實例：對樣本數(shù)據(jù)進行趨勢線擬合201
14.5 習題203