目錄
序
前言
第一章 緒論 1
1.1 最優(yōu)化問題的分類 1
1.1.1 無約束和約束最優(yōu)化問題 2
1.1.2 線性和非線性規(guī)劃問題 2
1.1.3 凸和非凸優(yōu)化問題 3
1.1.4 連續(xù)和離散優(yōu)化問題 3
練習 3
1.2 機器學習中的典型優(yōu)化問題 3
1.2.1 最小二乘線性回歸 3
1.2.2 LASSO 7
1.2.3 支持向量機 8
1.2.4 多層感知機 25
練習 31
第2章 凸分析 33
2.1 酸 33
2.1.1 仿射集 33
2.1.2 凸集 37
2.1.3 分離定理 40
2.1.4 凸錐 43
練習 48
2.2 凸函數(shù) 50
2.2.1 下半連續(xù)性與可微性 50
2.2.2 凸函數(shù)及其基本性質 56
2.2.3 嚴格凸函數(shù)與強凸函數(shù) 60
2.2.4 凸函數(shù)的判定 62
2.2.5 共軛函數(shù) 66
練習 71
2.3 凸函數(shù)的次微分 75
2.3.1 示性函數(shù)與支撐函數(shù) 75
2.3.2 次微分定義、一階最優(yōu)性條件 77
2.3.3 次微分與方向導數(shù) 78
2.3.4 次微分的常用性質 81
2.3.5 次微分的單調性與閉性 84
練習 85
第3章 最優(yōu)性條件 87
3.1 對偶問題 89
練習 98
3.2 鞍點定理與KKT條件 103
練習 111
第4章 最優(yōu)化計算 112
4.1 無約束優(yōu)化算法的一般步驟 112
練習 114
4.2 梯度下降法 115
練習 119
4.3 次梯度算法 121
4.3.1 次梯度算法結構 121
4.3.2 收斂性分析 121
練習 125
4.4 線性搜索 126
4.4.1 精確線性搜索 127
4.4.2 非精確線性搜索 129
練習 131
4.5 牛頓法 132
練習 138
4.6 拉格朗日乘子法 139
4.6.1 等式約束最優(yōu)化問題 141
4.6.2 一般形式優(yōu)化問題 146
練習 150
第5章 機器學習中的鄰近算法 153
5.1 鄰近算子 153
5.1.1 投影算子與隱式梯度下降法 154
5.1.2 鄰近算子與莫羅包絡 155
5.1.3 咎范數(shù)的鄰近算子 161
5.1.4 MCP的鄰近算子 168
5.1.5 Log-sum函數(shù)的鄰近算子 170
5.1.6 核范數(shù)的鄰近算子 173
練習 175
5.2 鄰近算法 177
5.2.1 迭代閾值收縮算法 177
5.2.2 加速的迭代閾值收縮算法 180
5.2.3 交替方向乘子法 182
5.2.4 案例 184
練習 190
第6章 應用 191
6.1 壓縮感知 191
6.1.1 壓縮感知的模型 192
6.1.2 壓縮感知的算法 193
6.2 低秩矩陣恢復 203
6.2.1 低秩矩陣的模型 203
6.2.2 低秩矩陣的算法 204
6.3 圖像修復 206
6.3.1 圖像修復的模型 206
6.3.2 圖像修復的算法 208
參考文獻 213