第1章 緒論 001
1.1　計(jì)算機(jī)視覺(jué)簡(jiǎn)介 002
1.1.1　人類(lèi)視覺(jué)要點(diǎn) 002
1.1.2　計(jì)算機(jī)視覺(jué) 003
1.1.3　相關(guān)學(xué)科 004
1.2　計(jì)算機(jī)視覺(jué)理論和框架 007
1.2.1　視覺(jué)計(jì)算理論 007
1.2.2　框架問(wèn)題和改進(jìn) 011
1.2.3　關(guān)于馬爾重建理論的討論 013
1.2.4　新理論框架的研究 016
1.2.5　從心理認(rèn)知出發(fā)的討論 018
1.3　圖像工程簡(jiǎn)介 021
1.3.1　圖像工程的3個(gè)層次 021
1.3.2　圖像工程的研究和應(yīng)用 023
1.4　深度學(xué)習(xí)簡(jiǎn)介 024
1.4.1　卷積神經(jīng)網(wǎng)絡(luò)的基本概念 024
1.4.2　深度學(xué)習(xí)的核心技術(shù) 028
1.4.3　計(jì)算機(jī)視覺(jué)中的深度學(xué)習(xí) 030
1.5　本書(shū)的組織架構(gòu)和內(nèi)容 032
參考文獻(xiàn) 033

第2章 攝像機(jī)成像和標(biāo)定 036
2.1　亮度成像模型 037
2.1.1　光度學(xué)概念 037
2.1.2　基本的亮度成像模型 038
2.2　空間成像模型 039
2.2.1　投影成像幾何 039
2.2.2　基本空間成像模型 040
2.2.3　通用空間成像模型 043
2.2.4　完整空間成像模型 045
2.3　攝像機(jī)模型 047
2.3.1　線性攝像機(jī)模型 047
2.3.2　非線性攝像機(jī)模型 050
2.4　攝像機(jī)標(biāo)定方法 053
2.4.1　標(biāo)定方法分類(lèi) 053
2.4.2　傳統(tǒng)標(biāo)定方法 055
2.4.3　自標(biāo)定方法 058
2.4.4　結(jié)構(gòu)光主動(dòng)視覺(jué)系統(tǒng)標(biāo)定方法 061
2.4.5　在線攝像機(jī)外參數(shù)標(biāo)定方法 066
參考文獻(xiàn) 069

第3章 深度圖像采集 071
3.1　深度圖像和深度成像 072
3.1.1　深度圖像 072
3.1.2　深度成像 074
3.2　直接深度成像 075
3.2.1　激光掃描介紹 075
3.2.2　飛行時(shí)間法 079
3.2.3　LiDAR 081
3.2.4　結(jié)構(gòu)光法 082
3.2.5　莫爾等高條紋法 084
3.3　間接深度成像 087
3.3.1　雙目橫向模式 087
3.3.2　雙目會(huì)聚橫向模式 092
3.3.3　雙目軸向模式 095
3.4　單像素深度成像 097
3.4.1　單像素成像原理 097
3.4.2　單像素相機(jī) 098
3.4.3　單像素3D成像 100
3.5　生物視覺(jué)與立體視覺(jué) 102
3.5.1　生物視覺(jué)和雙目視覺(jué) 102
3.5.2　從單目到雙目立體 102
參考文獻(xiàn) 103

第4章 3D點(diǎn)云數(shù)據(jù)采集及加工 105
4.1　點(diǎn)云數(shù)據(jù)概況 106
4.1.1　點(diǎn)云數(shù)據(jù)獲取方式 106
4.1.2　點(diǎn)云數(shù)據(jù)類(lèi)型 107
4.1.3　點(diǎn)云數(shù)據(jù)加工任務(wù) 108
4.1.4　LiDAR測(cè)試數(shù)據(jù)集 109
4.2　點(diǎn)云數(shù)據(jù)預(yù)處理 109
4.2.1　點(diǎn)云數(shù)據(jù)補(bǔ)漏 110
4.2.2　點(diǎn)云數(shù)據(jù)去噪 110
4.2.3　點(diǎn)云數(shù)據(jù)地面區(qū)域?yàn)V波 111
4.2.4　點(diǎn)云數(shù)據(jù)精簡(jiǎn)/壓縮 112
4.2.5　多平臺(tái)點(diǎn)云數(shù)據(jù)配準(zhǔn) 114
4.2.6　點(diǎn)云數(shù)據(jù)與影像數(shù)據(jù)配準(zhǔn) 116
4.3　激光點(diǎn)云3D建模 117
4.3.1　德勞內(nèi)三角網(wǎng)法 117
4.3.2　面片擬合法 118
4.4　3D模型的紋理映射 121
4.4.1　顏色紋理映射法 121
4.4.2　幾何紋理映射法 123
4.4.3　過(guò)程紋理映射法 123
4.5　點(diǎn)云特征描述 124
4.5.1　全局特征描述符和局部特征描述符 124
4.5.2　3種局部特征描述符 125
4.6　點(diǎn)云理解與深度學(xué)習(xí) 126
4.7　仿生優(yōu)化配準(zhǔn)點(diǎn)云 128
4.7.1　布谷鳥(niǎo)搜索 128
4.7.2　改進(jìn)的布谷鳥(niǎo)搜索 129
4.7.3　點(diǎn)云配準(zhǔn)應(yīng)用 131
參考文獻(xiàn) 132

第5章 雙目立體視覺(jué) 137
5.1　基于區(qū)域的雙目立體匹配 138
5.1.1　模板匹配 138
5.1.2　立體匹配 141
5.2　基于特征的雙目立體匹配 147
5.2.1　基本步驟 147
5.2.2　尺度不變特征變換 150
5.2.3　加速魯棒性特征 152
5.2.4　動(dòng)態(tài)規(guī)劃匹配 158
5.3　視差圖誤差檢測(cè)與校正 160
5.3.1　誤差檢測(cè) 160
5.3.2　誤差校正 161
5.4　基于深度學(xué)習(xí)的立體匹配 163
5.4.1 立體匹配網(wǎng)絡(luò) 163
5.4.2　基于特征級(jí)聯(lián)CNN的匹配 165
參考文獻(xiàn) 166

第6 章 多目立體視覺(jué) 170
6.1　水平多目立體匹配 171
6.1.1　多目圖像和SSD 171
6.1.2　倒距離和SSSD 173
6.2　正交三目立體匹配 175
6.2.1　正交三目 175
6.2.2　基于梯度分類(lèi)的正交匹配 180
6.3　多目立體匹配 184
6.3.1 任意排列三目立體匹配 185
6.3.2　正交多目立體匹配 189
6.4　等基線多攝像機(jī)組 190
6.4.1　圖像采集 191
6.4.2　圖像合并方法 192
6.5　單攝像機(jī)多鏡反射折射系統(tǒng) 193
6.5.1　總體系統(tǒng)結(jié)構(gòu) 194
6.5.2　成像和標(biāo)定模型 195
參考文獻(xiàn) 196

第7 章 單目多圖像場(chǎng)景恢復(fù) 199
7.1　單目圖像場(chǎng)景恢復(fù) 200
7.2　由光照恢復(fù)形狀 201
7.2.1　物體亮度和圖像亮度 202
7.2.2　表面反射特性和亮度 205
7.2.3　物體表面朝向 207
7.2.4　反射圖和圖像亮度約束方程 209
7.2.5　圖像亮度約束方程求解 211
7.3　由運(yùn)動(dòng)恢復(fù)形狀 215
7.3.1　光流和運(yùn)動(dòng)場(chǎng) 215
7.3.2　光流場(chǎng)和光流方程 217
7.3.3　光流方程求解 219
7.3.4　光流與表面取向 225
7.3.5　光流與相對(duì)深度 227
7.4　由分割輪廓恢復(fù)形狀 228
7.5　光度立體技術(shù)綜述 230
7.5.1　光源標(biāo)定 230
7.5.2　非朗伯表面反射模型 231
7.5.3　彩色光度立體 232
7.5.4　3D重建方法 233
7.6　基于GAN的光度立體 234
7.6.1　網(wǎng)絡(luò)結(jié)構(gòu) 234
7.6.2　損失函數(shù) 235
參考文獻(xiàn) 236

第8章 單目單圖像場(chǎng)景恢復(fù) 241
8.1　由影調(diào)恢復(fù)形狀 242
8.1.1　影調(diào)與形狀 242
8.1.2　圖像亮度方程求解 245
8.2　由紋理恢復(fù)形狀 251
8.2.1　單目成像和紋理畸變 252
8.2.2　由紋理變化恢復(fù)表面朝向 254
8.2.3　紋理消失點(diǎn)檢測(cè) 260
8.3　由焦距確定深度 265
8.4　根據(jù)三點(diǎn)透視估計(jì)位姿 267
8.4.1　三點(diǎn)透視問(wèn)題 267
8.4.2　迭代求解 268
8.5　混合表面透視投影下的由影調(diào)恢復(fù)形狀 269
8.5.1　改進(jìn)的Ward反射模型 269
8.5.2　透視投影下的圖像亮度約束方程 270
8.5.3　圖像亮度約束方程求解 272
8.5.4　基于Blinn-Phong反射模型的方程 273
8.5.5　新圖像亮度約束方程求解 274
參考文獻(xiàn) 276

第9章 廣義匹配 278
9.1　匹配介紹 279
9.1.1　匹配策略 279
9.1.2　匹配算法分類(lèi) 280
9.1.3　匹配評(píng)價(jià) 281
9.2　目標(biāo)匹配 282
9.2.1　匹配的度量 282
9.2.2　對(duì)應(yīng)點(diǎn)匹配 285
9.2.3　慣量等效橢圓匹配 286
9.3　動(dòng)態(tài)模式匹配 288
9.3.1　匹配流程 288
9.3.2　絕對(duì)模式和相對(duì)模式 289
9.4　匹配和配準(zhǔn) 291
9.4.1　配準(zhǔn)的實(shí)現(xiàn) 291
9.4.2　基于特征匹配的異構(gòu)遙感圖像配準(zhǔn) 293
9.4.3　基于空間關(guān)系推理的圖像匹配 294
9.5　關(guān)系匹配 295
9.6　圖同構(gòu)匹配 298
9.6.1　圖論簡(jiǎn)介 298
9.6.2　圖同構(gòu)和匹配 301
9.7　線條圖標(biāo)記和匹配 304
9.7.1　輪廓標(biāo)記 304
9.7.2　結(jié)構(gòu)推理 305
9.7.3　回朔標(biāo)記 307
9.8　多模態(tài)圖像匹配 308
9.8.1　基于區(qū)域的技術(shù) 308
9.8.2　基于特征的技術(shù) 310
參考文獻(xiàn) 312

第10章 同時(shí)定位和制圖 317
10.1　SLAM概況 318
10.1.1　激光SLAM 318
10.1.2　視覺(jué)SLAM 321
10.1.3　對(duì)比和結(jié)合 323
10.2　激光SLAM算法 324
10.2.1　Gmapping算法 324
10.2.2　Cartographer算法 326
10.2.3　LOAM算法 330
10.3　視覺(jué)SLAM算法 331
10.3.1　ORB-SLAM算法系列 331
10.3.2　LSD-SLAM算法 336
10.3.3　SVO算法 341
10.4　群體機(jī)器人和群體SLAM 343
10.4.1　群體機(jī)器人的特性 344
10.4.2　群體SLAM要解決的問(wèn)題 344
10.5　SLAM的一些新動(dòng)向 345
10.5.1　SLAM與深度學(xué)習(xí)的結(jié)合 345
10.5.2　SLAM與多智能體的結(jié)合 346
參考文獻(xiàn) 347

第11 章 時(shí)空行為理解 354
11.1　時(shí)空技術(shù) 355
11.1.1　新的研究領(lǐng)域 355
11.1.2　多個(gè)層次 356
11.2　動(dòng)作分類(lèi)和識(shí)別 357
11.2.1　動(dòng)作分類(lèi) 358
11.2.2　動(dòng)作識(shí)別 360
11.3　主體與動(dòng)作聯(lián)合建模 363
11.3.1　單標(biāo)簽主體?動(dòng)作識(shí)別 363
11.3.2　多標(biāo)簽主體?動(dòng)作識(shí)別 364
11.3.3　主體?動(dòng)作語(yǔ)義分割 365
11.4　活動(dòng)和行為建模 368
11.4.1　動(dòng)作建模 369
11.4.2　活動(dòng)建模和識(shí)別 373
11.4.3　基于關(guān)節(jié)點(diǎn)的行為識(shí)別 378
11.5　異常事件檢測(cè) 381
11.5.1　自動(dòng)活動(dòng)分析 381
11.5.2　異常事件檢測(cè)方法分類(lèi) 383
11.5.3　基于卷積自編碼器的檢測(cè) 386
11.5.4　基于單類(lèi)神經(jīng)網(wǎng)絡(luò)的檢測(cè) 387
參考文獻(xiàn) 388
主題索引 392