《全局化——從梯度引領(lǐng)到智能啟發(fā)》圍繞化問題的全局解,用12章內(nèi)容,詳細(xì)介紹了5大方向的10多個(gè)經(jīng)典算法。這5大方向分別是梯度算法的多次重啟、無導(dǎo)數(shù)優(yōu)化、(元)啟發(fā)式優(yōu)化、演化優(yōu)化和群體智能優(yōu)化。在介紹算法之外,還系統(tǒng)介紹了如何對(duì)化算法進(jìn)行理論和數(shù)值評(píng)價(jià),并介紹了數(shù)值比較可能產(chǎn)生悖論以及如何消除悖論等前沿研究成果。在《全局化——從梯度引領(lǐng)到智能啟發(fā)》第12章,還提供了設(shè)計(jì)和分析化算法的實(shí)操指引!度只獜奶荻纫I(lǐng)到智能啟發(fā)》適合作為數(shù)學(xué)、計(jì)算機(jī)、工程、經(jīng)濟(jì)、管理等相關(guān)學(xué)科的高年級(jí)本科生和研究生學(xué)習(xí)化方法的教材,也適合從事化相關(guān)工作的研究人員或工程師閱讀。
《全局化——從梯度引領(lǐng)到智能啟發(fā)》不僅系統(tǒng)介紹了5大算法,還介紹了如何對(duì)化算法進(jìn)行理論和數(shù)值評(píng)價(jià),并介紹了數(shù)值比較可能產(chǎn)生悖論以及如何消除悖論等前沿研究成果,內(nèi)容全面且前沿
全局化方法
——從梯度引領(lǐng)到智能啟發(fā)
劉群鋒 張 寧 編著
清華大學(xué)出版社
北 京
內(nèi) 容 簡(jiǎn) 介
本書圍繞化問題的全局解,用12 章內(nèi)容,詳細(xì)介紹了5 大方向的10 多個(gè)經(jīng)典算法。 這5
大方向分別是梯度優(yōu)化的多次重啟、無導(dǎo)數(shù)優(yōu)化、啟發(fā)式優(yōu)化、演化優(yōu)化和群體智能優(yōu)化。在介紹算法
之外,還系統(tǒng)介紹了如何對(duì)化算法進(jìn)行理論和數(shù)值評(píng)價(jià),并介紹了數(shù)值比較可能產(chǎn)生悖論以及如何
消除悖論等前沿研究成果。在本書第12 章,還提供了設(shè)計(jì)和分析化算法的實(shí)操指引。
本書適合作為數(shù)學(xué)、計(jì)算機(jī)、工程、經(jīng)濟(jì)、管理等相關(guān)學(xué)科的高年級(jí)本科生和研究生學(xué)習(xí)化方
法的教材,也適合從事化相關(guān)工作的研究人員或工程師閱讀。
本書封面貼有清華大學(xué)出版社防偽標(biāo)簽,無標(biāo)簽者不得銷售。
版權(quán)所有,侵權(quán)必究。舉報(bào):010-62782989, beiqinquan@tup.tsinghua.edu.cn。
圖書在版編目 (CIP) 數(shù)據(jù)
全局化方法 : 從梯度引領(lǐng)到智能啟發(fā) / 劉群鋒, 張寧編著. - - 北京 : 清華大學(xué)出版社,
2025. 8. - - ISBN 978-7-302-69970-5
Ⅰ. O242.23
中國(guó)國(guó)家版本館CIP 數(shù)據(jù)核字第20254KS761 號(hào)
責(zé)任編輯:陳凱仁
封面設(shè)計(jì):劉群鋒
責(zé)任校對(duì):歐 洋
責(zé)任印制:沈 露
出版發(fā)行:清華大學(xué)出版社
網(wǎng) 址:https://www.tup.com.cn, https://www.wqxuetang.com
地 址:北京清華大學(xué)學(xué)研大廈A 座 郵 編:100084
社 總 機(jī):010-83470000 郵 購:010-62786544
投稿與讀者服務(wù):010-62776969, c-service@tup.tsinghua.edu.cn
質(zhì)量反饋:010-62772015, zhiliang@tup.tsinghua.edu.cn
印裝者:北京鑫海金澳膠印有限公司
經(jīng) 銷:新華書店
開 本:185mm×260mm 印張:27 插頁:3 字?jǐn)?shù):663 千字
版次:2025 年9 月第1 版 印次:2025 年9 月第1 次印刷
定價(jià):94.00 元
產(chǎn)品編號(hào):100676-01
序
全局化方法就是化方法, 加上“全局” 二字是為了強(qiáng)調(diào)本書介紹的方法以獲取
化問題的全局解為目的, 這一點(diǎn)有別于目前大多數(shù)的化方法教材。
化是大自然的固有屬性, 例如, 宇宙是朝著熵最大的方向不斷演化的; 化也是
人類的不舍追求, 例如, 消費(fèi)者追求效用最大化, 而廠商追求利潤(rùn)最大化和成本最小化。因
此, 化問題廣泛出現(xiàn)在科學(xué)研究、工程設(shè)計(jì)、經(jīng)濟(jì)生產(chǎn)、管理實(shí)踐等人類活動(dòng)中。正因
如此, 化方法是數(shù)學(xué)中應(yīng)用最廣泛的分支之一。
有趣的是, 數(shù)學(xué)領(lǐng)域往往更關(guān)注化問題的局部極值, 而不是真正的全局最值。原因
是有很好的性條件來檢驗(yàn)?zāi)硞(gè)解是否為局部極值, 卻沒有合適的數(shù)學(xué)條件來確認(rèn)找到
的是否是真正的全局解。于是, 在很長(zhǎng)一段時(shí)間里, 化方法被分割成兩個(gè)分支。一
個(gè)是數(shù)學(xué)規(guī)劃領(lǐng)域, 執(zhí)著于數(shù)學(xué)性條件, 依賴真實(shí)的或近似的梯度信息, 設(shè)計(jì)和分析能
收斂到極值的局部化方法。另一個(gè)是全局化領(lǐng)域, 由少量(但越來越多) 數(shù)學(xué)規(guī)劃
領(lǐng)域的研究人員和大量工程技術(shù)以及經(jīng)濟(jì)管理領(lǐng)域的研究人員組成, 不局限于梯度引導(dǎo), 擁
抱各種有益的啟發(fā), 執(zhí)著于開發(fā)能找到全局解或其良好近似的算法。后者在算法層面
非常繁榮, 不僅包含如分支定界等經(jīng)典的確定性全局化算法, 也包含啟發(fā)式優(yōu)化、演化
優(yōu)化和群體智能優(yōu)化等源于工程技術(shù)領(lǐng)域的大量隨機(jī)性全局優(yōu)化算法。
由于全局化方法的研究人員來自數(shù)學(xué)、工程技術(shù)和經(jīng)濟(jì)管理等多個(gè)不同學(xué)科, 研
究?jī)?nèi)容跨度也很大, 導(dǎo)致目前很少有教材全面系統(tǒng)地介紹這些方法及其理論基礎(chǔ)。幸運(yùn)地,
圍繞化問題, 本書作者在這些學(xué)科方向都有一些研究積累。因此, 本書試圖全面系統(tǒng)地
介紹全局化問題及各類求解方法。
本書把全局化方法分成兩大類: 優(yōu)質(zhì)類是梯度優(yōu)化的多次重啟以及無導(dǎo)數(shù)優(yōu)化,
主要特點(diǎn)是(真實(shí)的或近似的) 梯度引導(dǎo)和多次重啟, 一般是確定性的; 第二類是啟發(fā)式優(yōu)
化、演化優(yōu)化和群體智能優(yōu)化, 主要特點(diǎn)是群體搜索和智能啟發(fā), 一般是隨機(jī)性的。在介紹
完這些算法后, 本書另一半篇幅詳細(xì)介紹如何科學(xué)地對(duì)化方法進(jìn)行理論評(píng)價(jià)和數(shù)值評(píng)
價(jià), 特別關(guān)注關(guān)于數(shù)值比較可能出現(xiàn)悖論以及如何消除悖論的前沿成果。
本書是《全局化——基于遞歸深度群體搜索的新方法》(清華大學(xué)出版社, 2021 年)
和《全局化——算法評(píng)價(jià)與數(shù)值比較》(清華大學(xué)出版社, 2024 年) 的姊妹篇。前兩本
書屬于學(xué)術(shù)專著, 重點(diǎn)闡述作者研究團(tuán)隊(duì)在全局化領(lǐng)域的研究成果; 本書則屬于教材,
提供了對(duì)經(jīng)典算法和重要算法的詳細(xì)介紹, 也提供了對(duì)化算法進(jìn)行理論評(píng)價(jià)和數(shù)值評(píng)
價(jià)的系統(tǒng)論述, 還附帶了化算法設(shè)計(jì)與分析的實(shí)操指引, 并配有大量習(xí)題。
本書共12 章, 除第2 章由張寧撰寫外, 其余均由劉群鋒撰寫。第1 章介紹化問題
的數(shù)學(xué)模型與基本理論, 剩余11 章分為4 部分。第1 部分包含第2~4 章, 首先介紹數(shù)學(xué)規(guī)
劃的經(jīng)典算法, 然后介紹基于梯度優(yōu)化的多次重啟策略, 最后介紹無導(dǎo)數(shù)優(yōu)化算法。第2 部
分包含第5~7 章, 分別介紹啟發(fā)式優(yōu)化、演化優(yōu)化和群體智能優(yōu)化。第3 部分包含第8~11
章, 首先介紹化算法的理論評(píng)估, 然后介紹化算法數(shù)值比較中的三大環(huán)節(jié): 測(cè)試問
題、數(shù)據(jù)分析方法、策略選擇與悖論消除。第4 部分包含第12 章, 介紹如何設(shè)計(jì)和分析一
個(gè)化算法, 具有實(shí)操指引作用。
本書得到了國(guó)家自然科學(xué)委(項(xiàng)目編號(hào): 61773119, 12271095)、廣東省普通高校
重點(diǎn)領(lǐng)域?qū)m?xiàng)(項(xiàng)目編號(hào): 2019KZDZX1005) 和廣東省自然科學(xué)委(項(xiàng)目編號(hào):
2022A1515010088) 的資助, 在此一并感謝!
本書適合作為數(shù)學(xué)、計(jì)算機(jī)、工程、經(jīng)濟(jì)、管理等相關(guān)學(xué)科的高年級(jí)本科生和研究生
學(xué)習(xí)化方法的教材, 也適合從事化相關(guān)工作的研究人員或工程師閱讀。本書有配
套在線慕課課程和配套微信科普公眾號(hào)(二維碼如下), 可供教師開展教學(xué)和同學(xué)們自學(xué)。
最后, 由于作者水平有限, 歡迎同行朋友和廣大讀者不吝指出書中可能存在的紕漏和謬
誤, 以攜作者日后改進(jìn), 甚謝!
作者
2024 年12 月
教學(xué)設(shè)計(jì)與學(xué)時(shí)安排建議
本書包含了10 多個(gè)經(jīng)典化算法的介紹, 也提供了化算法如何開展理論評(píng)價(jià)和
數(shù)值比較的詳細(xì)介紹。根據(jù)不同的教學(xué)側(cè)重與要求, 內(nèi)容和學(xué)時(shí)安排建議如下:
表1 本書教學(xué)設(shè)計(jì)與學(xué)時(shí)安排建議
教學(xué)側(cè)重(適用對(duì)象) 總學(xué)時(shí)(學(xué)分) 主要教學(xué)內(nèi)容與學(xué)時(shí)安排
理解化算法, 能調(diào)用
或簡(jiǎn)單改進(jìn)現(xiàn)成優(yōu)化算法
進(jìn)行問題求解, 了解算法
有效性和效率的主流評(píng)價(jià)
(適用一般本科生)
48~54 學(xué)時(shí)
(3 學(xué)分)
第1 章(3~4 學(xué)時(shí)), 第2 章(6 學(xué)時(shí)), 第3 章(3~4
學(xué)時(shí)), 第4 章(7~8 學(xué)時(shí)),第5 章(4 學(xué)時(shí)), 第6 章
(5~6 學(xué)時(shí)), 第7 章(4~6 學(xué)時(shí)), 第8 章(4 學(xué)時(shí)), 第
9 章(2 學(xué)時(shí)), 第10 章(6 學(xué)時(shí)), 第12 章(4 學(xué)時(shí))
32~36 學(xué)時(shí)
(2 學(xué)分)
第1 章(2 學(xué)時(shí)), 第2
目 錄
第1章 化問題的數(shù)學(xué)模型與基本理論 1
1.1 化問題及其數(shù)學(xué)模型 1
1.1.1 化問題舉例 1
1.1.2 化問題的數(shù)學(xué)模型 5
1.1.3 全局化問題與局部化問題 7
1.2 化問題的基本理論 8
1.2.1 全局解的存在性 9
1.2.2 全局解的NP-hard性質(zhì) 9
1.2.3 局部化問題的性條件 11
1.2.4 全局化問題的性條件 13
1.3 化算法框架初瞰與本書后續(xù)安排 15
1.3.1 局部化問題的梯度型算法 15
1.3.2 全局化問題的智能啟發(fā)類算法 17
1.3.3 全局化與局部化: 特色與融合 18
習(xí)題與思考 20
第1部分 梯度優(yōu)化的多次重啟與無導(dǎo)數(shù)優(yōu)化
第2章 基于梯度信息的局部尋優(yōu) 23
2.1 線搜索方法與下降算法的收斂性 24
2.1.1 線搜索方法 24
2.1.2 下降方法的收斂性 26
2.2 梯度下降法與共軛梯度法 29
2.2.1 梯度下降法 29
2.2.2 隨機(jī)梯度下降法 34
2.2.3 共軛梯度法 38
2.3 牛頓法與擬牛頓法 47
2.3.1 牛頓法 47
2.3.2 擬牛頓法 50
2.4 約束優(yōu)化算法 58
2.4.1 罰函數(shù)方法 59
2.4.2 增廣拉格朗日函數(shù)方法 61
習(xí)題與思考 63
第3章 局部?jī)?yōu)化的多次重啟 65
3.1 從局部尋優(yōu)到全局優(yōu)化 65
3.2 并行式多次重啟 67
3.2.1 MultiStart算法 67
3.2.2 數(shù)值實(shí)驗(yàn) 68
3.3 序列式多次重啟 70
3.3.1 GlobalSearch算法 70
3.3.2 散點(diǎn)搜索 72
3.3.3 局部搜索及其監(jiān)控與重啟 75
3.3.4 數(shù)值實(shí)驗(yàn) 77
習(xí)題與思考 81
第4章 直接搜索與無導(dǎo)數(shù)優(yōu)化 83
4.1 直接搜索算法的基本理論 83
4.1.1 從空間的基到正基 84
4.1.2 正基與下降方向 85
4.1.3 正基的構(gòu)造 86
4.2 直接搜索算法的主流實(shí)現(xiàn) 88
4.2.1 羅盤形直接搜索算法 88
4.2.2 單純形直接搜索算法 93
4.3 采用近似梯度的無導(dǎo)數(shù)優(yōu)化算法: 基本理論 99
4.3.1 插值 99
4.3.2 回歸 101
4.3.3 單純形梯度 102
4.4 采用近似梯度的無導(dǎo)數(shù)優(yōu)化算法: 基本框架 104
4.4.1 線搜索型無導(dǎo)數(shù)優(yōu)化算法 104
4.4.2 信賴域型無導(dǎo)數(shù)優(yōu)化算法 107
4.4.3 點(diǎn)集適定性與數(shù)據(jù)點(diǎn)選取 108
4.5 全局化問題的無導(dǎo)數(shù)優(yōu)化算法 115
4.5.1 DIRECT算法及其收斂性 115
4.5.2 DIRECT算法的改進(jìn) 120
4.5.3 DIRECT算法與遞歸深度群體搜索技術(shù) 123
習(xí)題與思考 127
第2部分 啟發(fā)式優(yōu)化、演化優(yōu)化與群體智能優(yōu)化
第5章 啟發(fā)式優(yōu)化 131
5.1 啟發(fā)式與元啟發(fā)式 131
5.1.1 啟發(fā)式 131
5.1.2 元啟發(fā)式 132
5.1.3 元啟發(fā)式優(yōu)化算法的發(fā)展及分類 132
5.2 模擬退火算法 132
5.2.1 Metropolis抽樣過程 133
5.2.2 簡(jiǎn)單模擬退火算法 134
5.2.3 從退火到再退火 136
5.2.4 漸近收斂性 137
5.2.5 算法的應(yīng)用 138
5.3 禁忌搜索算法 139
5.3.1 算法理念與偽代碼 139
5.3.2 鄰域結(jié)構(gòu)與禁忌表 140
5.3.3 收斂性 143
5.3.4 一個(gè)應(yīng)用 144
習(xí)題與思考 147
第6章 演化優(yōu)化 149
6.1 基因算法與基因規(guī)劃 149
6.1.1 理念及發(fā)展簡(jiǎn)史 149
6.1.2 算法要素及偽代碼 150
6.1.3 收斂性 154
6.1.4 基因算法的精煉 160
6.1.5 結(jié)構(gòu)編碼與基因規(guī)劃 164
6.2 演化規(guī)劃與演化策略 167
6.2.1 演化規(guī)劃 168
6.2.2 有限狀態(tài)機(jī)及其應(yīng)用 170
6.2.3 演化策略 172
6.2.4 GA、GP、ES、EP的比較 176
6.3 差分演化與文化演化 178
6.3.1 差分演化 178
6.3.2 文化演化 180
習(xí)題與思考 182
第7章 群體智能優(yōu)化 184
7.1 粒子群優(yōu)化 184
7.1.1 理念與算法實(shí)現(xiàn) 185
7.1.2 動(dòng)態(tài)方程的變化 188
7.1.3 拓?fù)溥x擇與優(yōu)化 192
7.1.4 收斂性和穩(wěn)定性 197
7.2 蟻群優(yōu)化 202
7.2.1 從螞蟻到人工螞蟻 203
7.2.2 蟻群優(yōu)化算法 204
7.2.3 蟻群優(yōu)化的理論性質(zhì) 209
7.3 其他群體智能優(yōu)化算法 214
7.3.1 煙花算法 214
7.3.2 頭腦風(fēng)暴優(yōu)化算法 217
7.3.3 鴿群優(yōu)化算法 220
習(xí)題與思考 223
第3部分 算法的理論評(píng)價(jià)與數(shù)值比較
第8章 化算法的理論評(píng)估 227
8.1 “穩(wěn)”: 從穩(wěn)定性到收斂性 227
8.1.1 化算法的穩(wěn)定性 228
8.1.2 化算法的收斂性 233
8.2 “快”: 從收斂率到復(fù)雜度 234
8.2.1 化算法的收斂率 234
8.2.2 化算法的復(fù)雜度 237
8.3 “準(zhǔn)”: 準(zhǔn)確性與有效性 240
8.3.1 基于搜索空間的準(zhǔn)確性與有效性度量 240
8.3.2 基于目標(biāo)空間的準(zhǔn)確性與有效性度量 243
習(xí)題與思考 245
第9章 化算法的數(shù)值比較 247
9.1 數(shù)值比較的必要性與可行性 247
9.1.1 化算法的數(shù)值比較是必要的 247
9.1.2 沒有免費(fèi)午餐定理與數(shù)值比較的總體可行性 248
9.2 化算法數(shù)值比較的流程 253
9.2.1 測(cè)試算法與測(cè)試問題的選取 254
9.2.2 數(shù)值實(shí)驗(yàn)與數(shù)據(jù)收集 255
9.2.3 數(shù)據(jù)分析方法與數(shù)值比較策略 256
9.2.4 結(jié)果的匯總與解讀 259
9.3 測(cè)試問題的代表性度量 261
9.3.1 常用測(cè)試問題集 261
9.3.2 測(cè)試問題的代表性: 三種定義 263
9.3.3 測(cè)試問題的代表性度量: 一種方法框架 264
9.3.4 測(cè)試問題的代表性度量: 單目標(biāo)無約束條件下的實(shí)踐 267
9.3.5 一個(gè)高代表性的測(cè)試問題集 270
習(xí)題與思考 271
第10章 數(shù)值比較中的數(shù)據(jù)分析方法 272
10.1 描述性統(tǒng)計(jì)法與L形曲線法 272
10.1.1 描述性統(tǒng)計(jì)法: 用表格呈現(xiàn)數(shù)據(jù)特征 273
10.1.2 L形曲線法: 用L形曲線呈現(xiàn)原始數(shù)據(jù) 276
10.2 基于推斷統(tǒng)計(jì)的數(shù)據(jù)分析方法 277
10.2.1 非參數(shù)檢驗(yàn) 278
10.2.2 參數(shù)檢驗(yàn) 287
10.3 基于累積分布函數(shù)的數(shù)據(jù)分析方法 299
10.3.1 performance profile方法和data profile方法 299
10.3.2 其他基于累積分布函數(shù)的數(shù)據(jù)分析方法 304
習(xí)題與思考 307
第11章 數(shù)值比較的策略選擇與悖論消除 308
11.1 數(shù)值比較的策略選擇 308
11.1.1 兩種比較策略的定義 308
11.1.2 集體比較策略 310
11.1.3 兩兩比較策略 315
11.1.4 結(jié)果匯總中的相對(duì)多數(shù)規(guī)則 317
11.2 比較策略與悖論的發(fā)生 319
11.2.1 悖論的實(shí)例 319
11.2.2 悖論發(fā)生的概率計(jì)算: 一些數(shù)學(xué)鋪墊 322
11.2.3 循環(huán)排序悖論的發(fā)生概率 324
11.2.4 非適者生存悖論的發(fā)生概率 327
11.2.5 正常事件的發(fā)生概率 330
11.3 序的過濾與悖論的避免 331
11.3.1 悖論的影響及對(duì)策 331
11.3.2 基于序的過濾的數(shù)據(jù)分析方法及其數(shù)學(xué)模型 334
11.3.3 算法無關(guān)的過濾條件與悖論的避免 336
11.4 均值Borda計(jì)數(shù)法與悖論的消除 344
11.4.1 矩陣降維與化算法的數(shù)值比較 345
11.4.2 均值Borda計(jì)數(shù)法與假設(shè)檢驗(yàn)中的循環(huán)排序消除 348
11.4.3 均值Borda計(jì)數(shù)法的理論優(yōu)越性與數(shù)值有效性 352
習(xí)題與思考 356
第4部分 實(shí)操指引篇
第12章 化算法的設(shè)計(jì)與評(píng)價(jià) 361
12.1 如何調(diào)用現(xiàn)成的算法來求解化問題 361
12.1.1 化工具箱 362
12.1.2 全局化工具箱 373
12.2 如何改進(jìn)或設(shè)計(jì)化算法 383
12.2.1 基于多次重啟的梯度型算法 384
12.2.2 種群協(xié)同型智能優(yōu)化算法 386
12.3 如何評(píng)價(jià)一個(gè)化算法 387
12.3.1 對(duì)化算法進(jìn)行數(shù)值測(cè)試 387
12.3.2 數(shù)據(jù)分析與結(jié)果解讀 390
12.3.3 理論分析與評(píng)價(jià) 401
習(xí)題與思考 403
參考文獻(xiàn) 405