本書(shū)全面探討了機(jī)器學(xué)習(xí)中的**化理論、方法與實(shí)踐，特別是在人工智能顛覆性發(fā)展的背景下， 包括但不限于監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、深度學(xué)習(xí)及強(qiáng)化學(xué)習(xí)等的應(yīng)用。本書(shū)詳細(xì)介紹了**性條件、 KKT 條件、拉格朗日對(duì)偶等核心**化理論，探討了梯度下降法、鄰近梯度法、牛頓法、擬牛頓方法 （BFGS 方法）、塊坐標(biāo)下降法、隨機(jī)梯度類(lèi)方法、增廣拉格朗日方法、交替方向乘子法、雙層規(guī)劃等 經(jīng)典**化方法，最后介紹了機(jī)器學(xué)習(xí)與**化深度融合的先進(jìn)學(xué)習(xí)優(yōu)化方法。通過(guò)本書(shū)的學(xué)習(xí)，讀 者將能夠全面理解機(jī)器學(xué)習(xí)中**化問(wèn)題的建模和求解計(jì)算，及其在實(shí)際問(wèn)題中的應(yīng)用，為后續(xù)的機(jī) 器學(xué)習(xí)研究和實(shí)踐奠定堅(jiān)實(shí)的基礎(chǔ)。在機(jī)器學(xué)習(xí)領(lǐng)域，**化方法不僅是實(shí)現(xiàn)模型學(xué)習(xí)的關(guān)鍵技術(shù)，也是提高模型性能、防止過(guò)擬合和增強(qiáng)泛化能力的基石。本書(shū)通過(guò)豐富的理論分析和實(shí)例演示，使讀者能深入理解**化方法在機(jī)器學(xué)習(xí)中的核心作用，并為解決實(shí)際問(wèn)題提供有力的工具。本書(shū)適合作為高等院校計(jì)算機(jī)、運(yùn)籌學(xué)、計(jì)算數(shù)學(xué)、大數(shù)據(jù)、統(tǒng)計(jì)學(xué)等相關(guān)專(zhuān)業(yè)的教材，是一本適合廣大人工智能愛(ài)好者的優(yōu)秀讀物。

體系完備，構(gòu)建系統(tǒng)知識(shí)圖譜

在當(dāng)今這個(gè)信息化快速發(fā)展的時(shí)代，機(jī)器學(xué)習(xí)已經(jīng)成為人工智能領(lǐng)域中最受矚目的研究方向之一。它的應(yīng)用范圍極為廣泛，涵蓋了計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等多個(gè)重要領(lǐng)域，并展現(xiàn)出了巨大的潛力和價(jià)值。機(jī)器學(xué)習(xí)的核心在于通過(guò)算法對(duì)大量數(shù)據(jù)進(jìn)行分析和學(xué)習(xí)，從而實(shí)現(xiàn)對(duì)未知數(shù)據(jù)的預(yù)測(cè)、分類(lèi)和決策等功能。然而，要實(shí)現(xiàn)這些功能，必須首先解決機(jī)器學(xué)習(xí)驅(qū)動(dòng)的最優(yōu)化問(wèn)題。作為數(shù)學(xué)和計(jì)算機(jī)科學(xué)的一個(gè)重要交叉分支，最優(yōu)化方法為機(jī)器學(xué)習(xí)提供了堅(jiān)實(shí)的理論基礎(chǔ)和高效的求解手段。
本書(shū)旨在全面、深入地探討面向機(jī)器學(xué)習(xí)的最優(yōu)化理論基礎(chǔ)、方法原理以及實(shí)際應(yīng)用。通過(guò)系統(tǒng)的介紹和分析，使讀者能夠?qū)ψ顑?yōu)化方法在機(jī)器學(xué)習(xí)中的作用有一個(gè)全面而深刻的理解，并能夠熟練運(yùn)用最優(yōu)化方法解決實(shí)際機(jī)器學(xué)習(xí)問(wèn)題。
本書(shū)第1章介紹機(jī)器學(xué)習(xí)中最優(yōu)化問(wèn)題的基本概念，包括監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等，闡述最優(yōu)化問(wèn)題在機(jī)器學(xué)習(xí)中的重要性和應(yīng)用背景。通過(guò)具體實(shí)例，幫助讀者理解機(jī)器學(xué)習(xí)中最優(yōu)化問(wèn)題的本質(zhì)和挑戰(zhàn)。第2章重點(diǎn)介紹最優(yōu)化問(wèn)題的基本理論，包括最優(yōu)化問(wèn)題基本形式、拉格朗日對(duì)偶理論、最優(yōu)性條件等。通過(guò)詳細(xì)的公式推導(dǎo)和案例分析，使讀者掌握最優(yōu)化問(wèn)題的基本理論框架。第3章詳細(xì)講解梯度下降類(lèi)方法，這是一種最基本的求解無(wú)約束最優(yōu)化問(wèn)題的方法。通過(guò)本章的學(xué)習(xí)，讀者將能夠掌握梯度下降類(lèi)方法的基本原理和實(shí)現(xiàn)技巧。第4章介紹鄰近梯度法及其擴(kuò)展，這是一種處理非光滑目標(biāo)函數(shù)的梯度下降法擴(kuò)展方法。第5章介紹牛頓法和最具代表性的擬牛頓方法（BFGS方法），重點(diǎn)介紹這兩種方法的原理、實(shí)現(xiàn)步驟以及優(yōu)缺點(diǎn)。第6章介紹塊坐標(biāo)下降法，這是一種求解大規(guī)模最優(yōu)化問(wèn)題的有效方法，包括塊坐標(biāo)下降法的基本架構(gòu)、子問(wèn)題更新機(jī)制以及塊坐標(biāo)選擇機(jī)制。第7章介紹隨機(jī)梯度類(lèi)方法，這是機(jī)器學(xué)習(xí)中應(yīng)用最廣泛的一種最優(yōu)化方法。本章介紹經(jīng)典隨機(jī)梯度法、隨機(jī)平均梯度法、方差減小隨機(jī)梯度法等，重點(diǎn)分析它們?cè)谏疃葘W(xué)習(xí)中的應(yīng)用。第8章介紹增廣拉格朗日方法和交替方向乘子法，這兩種方法都是處理帶線性等式約束的最優(yōu)化問(wèn)題的有效方法。
本章介紹這兩種方法的基本原理、實(shí)現(xiàn)步驟以及在實(shí)際問(wèn)題中的應(yīng)用案例。第9章介紹雙層規(guī)劃，這是一種處理復(fù)雜優(yōu)化問(wèn)題的有效方法。通過(guò)本章的學(xué)習(xí)，讀者將能夠理解最優(yōu)化與機(jī)器學(xué)習(xí)雙層規(guī)劃如何將復(fù)雜問(wèn)題分解為兩個(gè)層次進(jìn)行求解，并提高求解效率。第10章介紹學(xué)習(xí)優(yōu)化，這是一種利用機(jī)器學(xué)習(xí)技術(shù)來(lái)設(shè)計(jì)最優(yōu)化方法的新興技術(shù)。通過(guò)介紹學(xué)習(xí)優(yōu)化的基本概念、基本框架以及具體方法，讀者將能夠理解學(xué)習(xí)優(yōu)化如何根據(jù)訓(xùn)練數(shù)據(jù)自動(dòng)設(shè)計(jì)最優(yōu)化方法。最后，通過(guò)第11章的總結(jié)和展望，回顧本書(shū)的主要內(nèi)容，并展望未來(lái)的發(fā)展趨勢(shì)。通過(guò)本書(shū)的學(xué)習(xí)，讀者不僅能夠掌握機(jī)器學(xué)習(xí)中最優(yōu)化方法的理論基礎(chǔ)和實(shí)踐技巧，還能夠培養(yǎng)解決實(shí)際問(wèn)題的能力，為未來(lái)的學(xué)習(xí)和研究打下堅(jiān)實(shí)的基礎(chǔ)。讀者如果在理解知識(shí)的過(guò)程中遇到困難，建議不要在一個(gè)地方過(guò)于糾結(jié)，可以繼續(xù)學(xué)習(xí)后續(xù)內(nèi)容。通常來(lái)講，通過(guò)逐漸深入的學(xué)習(xí)，前面有不懂或有疑惑的知識(shí)點(diǎn)自然會(huì)迎刃而解。另外，讀者一定要?jiǎng)邮謱?shí)踐，如果在實(shí)踐過(guò)程中遇到困難，建議多查文檔和資料，分析問(wèn)題發(fā)生的原理，然后親自動(dòng)手解決問(wèn)題。衷心希望本書(shū)能夠成為廣大讀者的良師益友，幫助讀者更好地理解和應(yīng)用機(jī)器學(xué)習(xí)中最優(yōu)化方法。同時(shí)，也歡迎讀者提出寶貴意見(jiàn)和建議，共同推動(dòng)面向機(jī)器學(xué)習(xí)的最優(yōu)化方法的發(fā)展和應(yīng)用。
編者
2025年4月

王祥豐 華東師范大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院/數(shù)學(xué)科學(xué)學(xué)院教授，入選上海市青年科技英才啟明星，擔(dān)任上海市運(yùn)籌學(xué)會(huì)副理事長(zhǎng)、中國(guó)運(yùn)籌學(xué)會(huì)算法軟件與應(yīng)用分會(huì)常務(wù)理事等。主要研究方向是智能體（最優(yōu)化、強(qiáng)化學(xué)習(xí)、大語(yǔ)言模型驅(qū)動(dòng)智能體）及應(yīng)用等。曾獲中國(guó)工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會(huì)落地應(yīng)用成果、中國(guó)運(yùn)籌學(xué)會(huì)青年科技獎(jiǎng)提名獎(jiǎng)、IEEE信號(hào)處理學(xué)會(huì)最佳論文獎(jiǎng)、華為云技術(shù)合作優(yōu)秀合作伙伴獎(jiǎng)、上海開(kāi)源創(chuàng)新卓越成果獎(jiǎng)等。
蔡邢菊 南京師范大學(xué)教授，博士研究生導(dǎo)師。擔(dān)任大規(guī)模復(fù)雜系統(tǒng)數(shù)值模擬部重點(diǎn)實(shí)驗(yàn)室（南京師范大學(xué)）副主任，中國(guó)運(yùn)籌學(xué)會(huì)理事兼副秘書(shū)長(zhǎng)，江蘇省運(yùn)籌學(xué)會(huì)理事長(zhǎng)。主要從事最優(yōu)化理論與算法、變分不等式、數(shù)值優(yōu)化等領(lǐng)域的研究工作。先后主持多項(xiàng)國(guó)家級(jí)基金課題，獲江蘇省科技進(jìn)步獎(jiǎng)一等獎(jiǎng)。
陳彩華 南京大學(xué)教授、博士生導(dǎo)師，國(guó)家優(yōu)秀青年科學(xué)基金獲得者，國(guó)家自然科學(xué)基金重大項(xiàng)目課題負(fù)責(zé)人，美國(guó)斯坦福大學(xué)訪問(wèn)學(xué)者，南京大學(xué)理學(xué)博士，新加坡國(guó)立大學(xué)聯(lián)合培養(yǎng)博士�，F(xiàn)任南京大學(xué)工程管理學(xué)院副院長(zhǎng)、民建江蘇省委大數(shù)據(jù)與人工智能委員會(huì)主任。曾獲中國(guó)運(yùn)籌學(xué)會(huì)青年科技獎(jiǎng)、南京大學(xué)青年五四獎(jiǎng)?wù)�、江蘇省科學(xué)技術(shù)獎(jiǎng)等獎(jiǎng)勵(lì)。

第1 章機(jī)器學(xué)習(xí)中的最優(yōu)化問(wèn)題......................................................................... 1
1.1 為什么學(xué)習(xí)最優(yōu)化................................................................................. 2
1.2 機(jī)器學(xué)習(xí)中的最優(yōu)化問(wèn)題....................................................................... 3
1.2.1 監(jiān)督學(xué)習(xí).................................................................................... 3
1.2.2 無(wú)監(jiān)督學(xué)習(xí)................................................................................. 4
1.2.3 深度學(xué)習(xí).................................................................................... 6
1.2.4 強(qiáng)化學(xué)習(xí).................................................................................... 7
1.3 本章小結(jié)............................................................................................... 8
第2 章最優(yōu)化基礎(chǔ)理論...................................................................................... 9
2.1 最優(yōu)化問(wèn)題基本形式.............................................................................. 9
2.2 拉格朗日對(duì)偶問(wèn)題................................................................................ 12
2.3 最優(yōu)性條件與KKT 條件........................................................................ 15
2.4 應(yīng)用案例.............................................................................................. 21
2.4.1 Water-filling 問(wèn)題....................................................................... 21
2.4.2 最小二乘問(wèn)題............................................................................ 22
2.5 本章小結(jié).............................................................................................. 23
2.6 習(xí)題.................................................................................................... 23
第3 章梯度下降類(lèi)方法..................................................................................... 25
3.1 為什么需要利用梯度信息...................................................................... 25
3.2 梯度下降法.......................................................................................... 26
3.3 梯度下降法收斂性分析.......................................................................... 27
3.4 梯度類(lèi)方法的一般形式.......................................................................... 29
最優(yōu)化與機(jī)器學(xué)習(xí)
3.5 應(yīng)用案例.............................................................................................. 30
3.5.1 最小二乘問(wèn)題............................................................................ 30
3.5.2 邏輯回歸問(wèn)題............................................................................ 31
3.6 本章小結(jié).............................................................................................. 31
3.7 習(xí)題.................................................................................................... 31
第4 章鄰近梯度法及其擴(kuò)展.............................................................................. 33
4.1 鄰近算子.............................................................................................. 33
4.2 鄰近梯度.............................................................................................. 40
4.3 鄰近梯度法.......................................................................................... 41
4.4 廣義鄰近梯度法.................................................................................... 42
4.5 Nesterov 加速方法................................................................................. 43
4.6 應(yīng)用案例.............................................................................................. 45
4.6.1 Lasso 問(wèn)題................................................................................. 45
4.6.2 ?1-正則邏輯回歸問(wèn)題.................................................................. 46
4.7 本章小結(jié).............................................................................................. 46
4.8 習(xí)題.................................................................................................... 46
第5 章牛頓法和BFGS 方法............................................................................. 49
5.1 牛頓法................................................................................................. 49
5.2 BFGS 方法........................................................................................... 50
5.3 有限內(nèi)存的BFGS 方法......................................................................... 53
5.4 本章小結(jié).............................................................................................. 54
5.5 習(xí)題.................................................................................................... 55
第6 章塊坐標(biāo)下降法........................................................................................ 56
6.1 塊坐標(biāo)下降法基本架構(gòu).......................................................................... 56
6.2 子問(wèn)題更新機(jī)制.................................................................................... 57
6.3 塊坐標(biāo)選擇機(jī)制.................................................................................... 58
6.4 系列塊坐標(biāo)下降法匯總.......................................................................... 60
6.5 應(yīng)用案例.............................................................................................. 61
6.5.1 ?1-正則邏輯回歸問(wèn)題.................................................................. 62
6.5.2 非負(fù)矩陣分解問(wèn)題...................................................................... 62
6.6 本章小結(jié).............................................................................................. 64
6.7 習(xí)題.................................................................................................... 64
第7 章隨機(jī)梯度類(lèi)方法..................................................................................... 67
7.1 經(jīng)典隨機(jī)梯度法.................................................................................... 68
7.2 隨機(jī)平均梯度法.................................................................................... 69
7.3 方差減小隨機(jī)梯度法............................................................................. 70
7.4 隨機(jī)梯度法的擴(kuò)展討論.......................................................................... 71
7.5 面向深度學(xué)習(xí)的隨機(jī)優(yōu)化方法................................................................ 72
7.5.1 動(dòng)量加速隨機(jī)梯度法.................................................................. 73
7.5.2 Adagrad 方法............................................................................. 73
7.5.3 Adadelta 方法............................................................................ 74
7.5.4 RMSprop 方法........................................................................... 74
7.5.5 Adam 方法................................................................................ 74
7.6 本章小結(jié).............................................................................................. 75
7.7 習(xí)題.................................................................................................... 76
第8 章增廣拉格朗日方法和交替方向乘子法....................................................... 78
8.1 對(duì)偶上升方法....................................................................................... 78
8.2 增廣拉格朗日方法................................................................................ 79
8.3 交替方向乘子法.................................................................................... 80
8.4 應(yīng)用案例.............................................................................................. 83
8.4.1 一致性最優(yōu)化問(wèn)題...................................................................... 83
8.4.2 帶約束的凸優(yōu)化問(wèn)題.................................................................. 84
8.4.3 Lasso 問(wèn)題................................................................................. 85
8.5 本章小結(jié).............................................................................................. 85
8.6 習(xí)題.................................................................................................... 86
第9 章雙層規(guī)劃............................................................................................... 87
9.1 雙層規(guī)劃基礎(chǔ)知識(shí)................................................................................ 87
9.2 基于梯度的逼近方法............................................................................. 89
9.2.1 BDA/BMO 方法........................................................................ 91
9.2.2 IAPTT-GM 方法....................................................................... 92
9.3 基于價(jià)值函數(shù)的算法............................................................................. 93
9.4 應(yīng)用案例.............................................................................................. 94
9.4.1 超參優(yōu)化問(wèn)題............................................................................ 94
9.4.2 核心集選擇問(wèn)題......................................................................... 95
9.5 本章小結(jié).............................................................................................. 96
9.6 習(xí)題.................................................................................................... 96
第10 章學(xué)習(xí)優(yōu)化............................................................................................. 97
10.1 學(xué)習(xí)優(yōu)化基本思想............................................................................... 97
10.2 學(xué)習(xí)優(yōu)化基本框架............................................................................... 99
10.3 學(xué)習(xí)優(yōu)化方法................................................................................... 100
10.3.1 無(wú)模型學(xué)習(xí)優(yōu)化方法............................................................. 100
10.3.2 基于模型的學(xué)習(xí)優(yōu)化方法....................................................... 102
10.4 應(yīng)用案例.......................................................................................... 104
10.5 本章小結(jié).......................................................................................... 106
10.6 習(xí)題................................................................................................. 106
第11 章總結(jié).................................................................................................. 107
附錄A 數(shù)學(xué)基礎(chǔ)............................................................................................ 109
A.1 基礎(chǔ)概念........................................................................................... 109
A.2 凸集與凸函數(shù).................................................................................... 115
A.3 次梯度與次微分................................................................................. 122
A.4 共軛函數(shù)........................................................................................... 124
A.5 李普希茨連續(xù)可微與強(qiáng)凸性質(zhì)............................................................. 130
A.6 隨機(jī)變量及性質(zhì)................................................................................. 137
A.7 習(xí)題.................................................................................................. 139
參考文獻(xiàn).......................................................................................................... 141