第一章 機(jī)器學(xué)習(xí)基礎(chǔ) 1.1 通過(guò) Sora 理解機(jī)器學(xué)習(xí) 1.1.1 流形分布定理和低維數(shù)據(jù) 1.1.2 Sora 的突破與局限性 1.1.3 臨界態(tài)和物理悖論:機(jī)器學(xué)習(xí)的新前沿 1.2 機(jī)器學(xué)習(xí)與宏觀經(jīng)濟(jì)學(xué)中的均衡 1.2.1 經(jīng)濟(jì)模型與物理系統(tǒng)模型的對(duì)比 1.2.2 推動(dòng)機(jī)器學(xué)習(xí)和經(jīng)濟(jì)建模進(jìn)步的幾何方法 1.3 機(jī)器學(xué)習(xí)的要素、目標(biāo)及評(píng)估 1.3.1 理解要素 1.3.2 機(jī)器學(xué)習(xí)的目標(biāo):泛化 1.3.3 評(píng)估性能 1.4 機(jī)器學(xué)習(xí)的三要素 1.4.1 模型 1.4.2 學(xué)習(xí)準(zhǔn)則 1.4.3 優(yōu)化算法 1.5 泛化與模型選擇 1.5.1 泛化誤差、過(guò)擬合與欠擬合 1.5.2 偏差-方差權(quán)衡 1.5.3 評(píng)估泛化性能的技術(shù) 1.5.4 正則化技術(shù) 1.5.5 集成方法 1.5.6 模型可解釋性和可說(shuō)明性 1.6 機(jī)器學(xué)習(xí)的一個(gè)簡(jiǎn)單實(shí)例———線性回歸 1.6.1 參數(shù)學(xué)習(xí) 1.7 小結(jié) 習(xí)題 第二章 機(jī)器學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò) 2.1 神經(jīng)元 2.2 激活函數(shù) 2.2.1 神經(jīng)元的線性變換 2.2.2 神經(jīng)網(wǎng)絡(luò)線性變換、Arrow-Debreu 資產(chǎn)模型和流形分布定理 2.2.3 通過(guò)激活函數(shù)進(jìn)行非線性變換 2.2.4 Sigmoid 函數(shù) 2.2.5 Hard-Logistic 和 Hard-Tanh 函數(shù) 2.2.6 ReLU 函數(shù) 2.2.7 Swish 函數(shù) 2.2.8 GELU 函數(shù) 2.2.9 Maxout 單元 2.2.10 選擇激活函數(shù) 2.3 網(wǎng)絡(luò)結(jié)構(gòu) 2.4 前饋神經(jīng)網(wǎng)絡(luò) 2.4.1 通用近似定理 2.4.2 機(jī)器學(xué)習(xí)中的應(yīng)用 2.4.3 參數(shù)學(xué)習(xí) 2.4.4 Dropout 技術(shù) 2.5 反向傳播算法 2.5.1 反向傳播算法的數(shù)學(xué)基礎(chǔ) 2.5.2 神經(jīng)網(wǎng)絡(luò)中反向傳播的示例 2.5.3 優(yōu)化與改進(jìn) 2.6 自動(dòng)梯度計(jì)算 2.6.1 數(shù)值微分 2.6.2 符號(hào)微分 2.6.3 自動(dòng)微分 2.7 小結(jié) 習(xí)題 第三章 PyTorch 與機(jī)器學(xué)習(xí) 3.1 PyTorch 簡(jiǎn)介 3.1.1 什么是 PyTorch? 3.1.2 使用 PyTorch 進(jìn)行機(jī)器學(xué)習(xí)的優(yōu)勢(shì) 3.1.3 安裝 PyTorch 3.1.4 PyTorch 基礎(chǔ) 3.2 PyTorch 中的張量 3.2.1 什么是張量? 理解 PyTorch 的核心數(shù)據(jù)結(jié)構(gòu) 3.2.2 張量操作 3.3 在 PyTorch 中構(gòu)建神經(jīng)網(wǎng)絡(luò) 3.3.1 理解神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 3.3.2 激活函數(shù) 3.3.3 損失函數(shù) 3.3.4 在 PyTorch 中優(yōu)化算法 3.4 準(zhǔn)備訓(xùn)練數(shù)據(jù) 3.4.1 生成用于回歸的隨機(jī)數(shù)據(jù) 3.4.2 創(chuàng)建 PyTorch 數(shù)據(jù)集 3.4.3 數(shù)據(jù)加載器和批處理 3.4.4 數(shù)據(jù)變換和增強(qiáng) 3.5 訓(xùn)練模型 3.5.1 Autograd:PyTorch 的自動(dòng)微分引擎 3.5.2 模型訓(xùn)練和優(yōu)化 3.5.3 定義模型架構(gòu) 3.5.4 初始化模型和設(shè)備選擇 3.5.5 訓(xùn)練循環(huán) 3.5.6 監(jiān)控訓(xùn)練進(jìn)度 3.6 保存和加載模型 3.6.1 保存訓(xùn)練好的模型參數(shù) 3.6.2 加載預(yù)訓(xùn)練模型 3.6.3 在動(dòng)態(tài)宏觀模型中的應(yīng)用 3.7 超參數(shù)調(diào)優(yōu) 3.7.1 理解超參數(shù) 3.7.2 超參數(shù)調(diào)優(yōu)技術(shù) 3.7.3 使用 PyTorch 的內(nèi)置超參數(shù)調(diào)優(yōu)工具 3.8 使用 PyTorch 訓(xùn)練回歸模型 3.9 JIT 編譯加速執(zhí)行 3.10 小結(jié) 習(xí)題 第四章 隨機(jī)增長(zhǎng)模型的數(shù)值方法 4.1 模型設(shè)置 4.1.1 社會(huì)規(guī)劃者問(wèn)題 4.1.2 求解方法 4.2 擾動(dòng)法 4.3 投影法 4.3.1 有限元方法 4.3.2 切比雪夫多項(xiàng)式的譜方法 4.3.3 Smolyak 算法 4.3.4 與神經(jīng)網(wǎng)絡(luò)的聯(lián)系 4.4 值函數(shù)迭代 4.5 不同求解方法的表現(xiàn) 4.6 小結(jié) 習(xí)題 第五章 通過(guò)機(jī)器學(xué)習(xí)求解動(dòng)態(tài)均衡模型 5.1 消費(fèi)-儲(chǔ)蓄問(wèn)題 5.2 深度學(xué)習(xí)解法 5.2.1 生命周期回報(bào) 5.2.2 歐拉方程 5.2.3 貝爾曼方程 5.3 PyTorch 實(shí)例 5.4 深度學(xué)習(xí)方法的優(yōu)勢(shì) 5.5 小結(jié) 習(xí)題 第六章 通過(guò)機(jī)器學(xué)習(xí)分析異質(zhì)代理人模型 6.1 具有總量不確定性的異質(zhì)代理人模型 6.1.1 經(jīng)濟(jì)環(huán)境 6.1.2 競(jìng)爭(zhēng)均衡 6.2 主要計(jì)算挑戰(zhàn) 6.2.1 將分布作為狀態(tài)變量 6.2.2 分布的演化 6.3 基于機(jī)器學(xué)習(xí)的算法 6.3.1 基于直方圖的分布近似 6.3.2 基于神經(jīng)網(wǎng)絡(luò)的函數(shù)近似 6.3.3 值函數(shù)和策略函數(shù)迭代算法 6.4 小結(jié) 習(xí)題 第七章:強(qiáng)化學(xué)習(xí)與非最優(yōu)經(jīng)濟(jì)體 7.1 經(jīng)濟(jì)環(huán)境 7.1.1 家庭 7.1.2 政府 7.1.3 政府問(wèn)題的遞歸表示 7.2 均衡的計(jì)算 7.2.1 集合 Ω 的刻畫(huà) 7.2.2 通過(guò)機(jī)器學(xué)習(xí)計(jì)算均衡 7.2.3 數(shù)值算法概述 7.3 小結(jié) 習(xí)題 參考文獻(xiàn)