最優(yōu)化是運籌學(xué)與控制論二級學(xué)科下的一個重要研究方向，它研究如何在眾多可行方案中找到滿足約束條件的最優(yōu)方案，并計算最優(yōu)方案所需要的成本或收益。本書主要介紹目標函數(shù)和約束函數(shù)均為連續(xù)函數(shù)的非線性最優(yōu)化問題，這類問題在學(xué)術(shù)研究和實際應(yīng)用中普遍存在，學(xué)習(xí)和研究它具有重要的理論意義和應(yīng)用價值。

本書主要內(nèi)容包括四部分。第一部分介紹一維搜索理論與算法，包括第1章和第2章，主要內(nèi)容有試探法、函數(shù)逼近法和非精確線搜索法。一維搜索算法是所有其他搜索算法的基礎(chǔ)。第二部分介紹無約束最優(yōu)化理論與算法，包括第3章和第4章，主要內(nèi)容有無約束最優(yōu)性條件、基于梯度的下降方法和基于函數(shù)值估計的直接法。無約束最優(yōu)化是后續(xù)約束最優(yōu)化的基礎(chǔ)。第三部分介紹約束最優(yōu)化理論與算法，包括第5~8章，主要內(nèi)容有無約束最優(yōu)性條件、可行方向法、罰函數(shù)法和二次規(guī)劃。第四部分介紹深度學(xué)習(xí)中的優(yōu)化算法，包括第9章，深度學(xué)習(xí)中的優(yōu)化方法是最優(yōu)化在近年來的重要新發(fā)展方向，對深度學(xué)習(xí)的發(fā)展有重要的促進作用。

非線性最優(yōu)化是我從碩士到博士，再到參加工作以來一直都在研究的一個領(lǐng)域。在研究生期間，雖然研究得非常深入，但其內(nèi)容僅僅局限于所從事的研究課題，并未從整體上對最優(yōu)化理論與算法進行非常深入的學(xué)習(xí)。參加工作以后，由于開設(shè)課程的需要，我開始全面學(xué)習(xí)非線性最優(yōu)化。我驚訝地發(fā)現(xiàn)，非線性最優(yōu)化是如此博大精深，以至于就算窮盡畢生精力也不一定能窺得其全貌，更別說完全掌握了。最優(yōu)化理論與算法無論是對非專業(yè)學(xué)生還是對專業(yè)學(xué)生都有相當難度，主要原因有二，一是它用到了大量綜合性較強的數(shù)學(xué)知識，二是算法設(shè)計和編程實現(xiàn)對邏輯思維和動手能力要求非常高。我先為計算機專業(yè)的研究生開設(shè)了最優(yōu)化理論與算法課程，后來隨著我院數(shù)學(xué)一級學(xué)科開始招研究生，又給數(shù)學(xué)類的研究生開設(shè)了本課程。從教學(xué)的反饋來看，學(xué)生普遍對大量的數(shù)學(xué)推導(dǎo)過程望而卻步，不能直觀地理解定理和算法的精髓，以至于在算法設(shè)計環(huán)節(jié)難以厘清算法邏輯，更別說編程實現(xiàn)了。后來在疫情期間，我又將該課程錄制成視頻，分享到B站，沒想到的是，視頻受到了B站網(wǎng)友的熱烈追捧，很快躍升為同類課程排行榜首位，點擊量超過了30萬次，對于一個非常小眾的課程來講，這算是不小的成就了。究其原因，我認為是因為我在講授中重在通過一些圖形和案例來講解原理，而非滿篇晦澀難懂的證明。同時，我比較注重對算法的實現(xiàn)，每種算法都至少通過一個案例進行編程實現(xiàn)。算法的編程實現(xiàn)需要讀者對細節(jié)非常精細地進行理解，這非常有助于初學(xué)者理解理論知識，通過案例實現(xiàn)的方式也讓工程技術(shù)人員真實地看到了優(yōu)化應(yīng)該如何用在工程實踐中。受此鼓舞，我決定再進一步，將我的授課講義整理成書出版，而編寫的思路就是重理解、重實踐、輕證明。

我從2022年暑假開始動筆寫這本書，由于工作比較忙，每天只能在早上和晚上各抽出不到1小時時間來撰寫書稿，進度非常緩慢。后來我受學(xué)校選派，到了涼山州布拖縣地洛鎮(zhèn)依子村從事鄉(xiāng)村振興幫扶工作，駐村工作雖然辛苦，但工作內(nèi)容相對單一，也少了很多雜七雜八的事務(wù)，加上騰出了陪伴家人的時間，才有了更多的時間來進行寫作，進度快了許多，所以實際上，本書有70%的內(nèi)容是在偏遠的山區(qū)村落完成的。

要感謝駐村工作這段經(jīng)歷，雖然名義上是去幫扶當?shù)匕l(fā)展，但我在這一段經(jīng)歷中所獲得的遠比我所付出的更多。我和同去的另外兩位學(xué)校同事共同努力，為村上修補了道路，為孩子們裝修了圖書室，為村民修建了飲水灌溉設(shè)施，為村子產(chǎn)業(yè)發(fā)展打造了蔬菜基地，為先天腿疾兒童送去了電動輪椅，為事實無人撫養(yǎng)兒童募捐學(xué)費、生活費。這些工作不僅讓我對中國的農(nóng)村更加了解，也讓我感受到了幫助一個地方發(fā)展和幫助別人解決困難的巨大成就感，更讓我理解了黨中央脫貧攻堅、鄉(xiāng)村振興重大行動的偉大意義。駐村期間，我常常被當?shù)卮迕翊緲愕拿耧L(fēng)所感動，和他們結(jié)下了深厚的友誼，他們見證了我的成長，也見證了這本書的誕生。

要感謝我的恩師吳至友教授，Adil Bagirov教授和在我求學(xué)道路上無私幫助過我的白富生、趙克全、吳昌質(zhì)、杜學(xué)武等教授，是他們成就了現(xiàn)在的我。感謝母校重慶師范大學(xué)的栽培，曾經(jīng)就讀的數(shù)學(xué)科學(xué)學(xué)院如今發(fā)展蒸蒸日上，我等均以畢業(yè)于重慶師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院而自豪，希望有一天學(xué)院也能以培養(yǎng)了我等而驕傲。

要感謝我的本科學(xué)生楊佳鑫同學(xué)，本書第9章的內(nèi)容主要來自由我指導(dǎo)的她的本科畢業(yè)論文，她提出的方法現(xiàn)已在國際學(xué)術(shù)期刊上正式發(fā)表，也編入了本書最后一節(jié)。我始終認為能夠碰到幾個優(yōu)秀的學(xué)生是作為老師的一生之幸，而楊佳鑫便是其中之一。感謝本書責(zé)任編輯趙佳霓，她在本書的編寫、校對和排版過程中做了大量細致的工作，沒有她的幫助，本書不可能順利出版。

特別地，要感謝我的家人，尤其是愛妻文靜，在我駐村工作期間，她不僅要全職工作，還要照顧兩個孩子和偶爾負責(zé)我的后勤，這其中的艱辛，我是很難體會的。兩個小天使也是我寫作的強大動力，雖然他們不再像上一本書寫作期間那樣時不時詢問： 爸爸，你的書寫得怎樣了？但是他們用在學(xué)校中的實際表現(xiàn)告訴我： 爸爸，你小心被我們拍在沙灘上哦。為了不那么快地被他們拍在沙灘上，我當然只有一刻也不能停下前進的腳步了。

本書的出版得到了國家自然科學(xué)基金面上項目(項目編號： 12371258)的資助，特此感謝。
最后，由于個人能力有限，書中難免有疏漏之處，還望讀者批評指正，不勝感激。

龍強
2025年1月
于涼山州布拖縣地洛鎮(zhèn)依子村