第1章 緒論 001
1.1　計算機視覺簡介 002
1.1.1　人類視覺要點 002
1.1.2　計算機視覺 003
1.1.3　相關(guān)學科 004
1.2　計算機視覺理論和框架 007
1.2.1　視覺計算理論 007
1.2.2　框架問題和改進 011
1.2.3　關(guān)于馬爾重建理論的討論 013
1.2.4　新理論框架的研究 016
1.2.5　從心理認知出發(fā)的討論 018
1.3　圖像工程簡介 021
1.3.1　圖像工程的3個層次 021
1.3.2　圖像工程的研究和應(yīng)用 023
1.4　深度學習簡介 024
1.4.1　卷積神經(jīng)網(wǎng)絡(luò)的基本概念 024
1.4.2　深度學習的核心技術(shù) 028
1.4.3　計算機視覺中的深度學習 030
1.5　本書的組織架構(gòu)和內(nèi)容 032
參考文獻 033

第2章 攝像機成像和標定 036
2.1　亮度成像模型 037
2.1.1　光度學概念 037
2.1.2　基本的亮度成像模型 038
2.2　空間成像模型 039
2.2.1　投影成像幾何 039
2.2.2　基本空間成像模型 040
2.2.3　通用空間成像模型 043
2.2.4　完整空間成像模型 045
2.3　攝像機模型 047
2.3.1　線性攝像機模型 047
2.3.2　非線性攝像機模型 050
2.4　攝像機標定方法 053
2.4.1　標定方法分類 053
2.4.2　傳統(tǒng)標定方法 055
2.4.3　自標定方法 058
2.4.4　結(jié)構(gòu)光主動視覺系統(tǒng)標定方法 061
2.4.5　在線攝像機外參數(shù)標定方法 066
參考文獻 069

第3章 深度圖像采集 071
3.1　深度圖像和深度成像 072
3.1.1　深度圖像 072
3.1.2　深度成像 074
3.2　直接深度成像 075
3.2.1　激光掃描介紹 075
3.2.2　飛行時間法 079
3.2.3　LiDAR 081
3.2.4　結(jié)構(gòu)光法 082
3.2.5　莫爾等高條紋法 084
3.3　間接深度成像 087
3.3.1　雙目橫向模式 087
3.3.2　雙目會聚橫向模式 092
3.3.3　雙目軸向模式 095
3.4　單像素深度成像 097
3.4.1　單像素成像原理 097
3.4.2　單像素相機 098
3.4.3　單像素3D成像 100
3.5　生物視覺與立體視覺 102
3.5.1　生物視覺和雙目視覺 102
3.5.2　從單目到雙目立體 102
參考文獻 103

第4章 3D點云數(shù)據(jù)采集及加工 105
4.1　點云數(shù)據(jù)概況 106
4.1.1　點云數(shù)據(jù)獲取方式 106
4.1.2　點云數(shù)據(jù)類型 107
4.1.3　點云數(shù)據(jù)加工任務(wù) 108
4.1.4　LiDAR測試數(shù)據(jù)集 109
4.2　點云數(shù)據(jù)預(yù)處理 109
4.2.1　點云數(shù)據(jù)補漏 110
4.2.2　點云數(shù)據(jù)去噪 110
4.2.3　點云數(shù)據(jù)地面區(qū)域濾波 111
4.2.4　點云數(shù)據(jù)精簡/壓縮 112
4.2.5　多平臺點云數(shù)據(jù)配準 114
4.2.6　點云數(shù)據(jù)與影像數(shù)據(jù)配準 116
4.3　激光點云3D建模 117
4.3.1　德勞內(nèi)三角網(wǎng)法 117
4.3.2　面片擬合法 118
4.4　3D模型的紋理映射 121
4.4.1　顏色紋理映射法 121
4.4.2　幾何紋理映射法 123
4.4.3　過程紋理映射法 123
4.5　點云特征描述 124
4.5.1　全局特征描述符和局部特征描述符 124
4.5.2　3種局部特征描述符 125
4.6　點云理解與深度學習 126
4.7　仿生優(yōu)化配準點云 128
4.7.1　布谷鳥搜索 128
4.7.2　改進的布谷鳥搜索 129
4.7.3　點云配準應(yīng)用 131
參考文獻 132

第5章 雙目立體視覺 137
5.1　基于區(qū)域的雙目立體匹配 138
5.1.1　模板匹配 138
5.1.2　立體匹配 141
5.2　基于特征的雙目立體匹配 147
5.2.1　基本步驟 147
5.2.2　尺度不變特征變換 150
5.2.3　加速魯棒性特征 152
5.2.4　動態(tài)規(guī)劃匹配 158
5.3　視差圖誤差檢測與校正 160
5.3.1　誤差檢測 160
5.3.2　誤差校正 161
5.4　基于深度學習的立體匹配 163
5.4.1 立體匹配網(wǎng)絡(luò) 163
5.4.2　基于特征級聯(lián)CNN的匹配 165
參考文獻 166

第6 章 多目立體視覺 170
6.1　水平多目立體匹配 171
6.1.1　多目圖像和SSD 171
6.1.2　倒距離和SSSD 173
6.2　正交三目立體匹配 175
6.2.1　正交三目 175
6.2.2　基于梯度分類的正交匹配 180
6.3　多目立體匹配 184
6.3.1 任意排列三目立體匹配 185
6.3.2　正交多目立體匹配 189
6.4　等基線多攝像機組 190
6.4.1　圖像采集 191
6.4.2　圖像合并方法 192
6.5　單攝像機多鏡反射折射系統(tǒng) 193
6.5.1　總體系統(tǒng)結(jié)構(gòu) 194
6.5.2　成像和標定模型 195
參考文獻 196

第7 章 單目多圖像場景恢復(fù) 199
7.1　單目圖像場景恢復(fù) 200
7.2　由光照恢復(fù)形狀 201
7.2.1　物體亮度和圖像亮度 202
7.2.2　表面反射特性和亮度 205
7.2.3　物體表面朝向 207
7.2.4　反射圖和圖像亮度約束方程 209
7.2.5　圖像亮度約束方程求解 211
7.3　由運動恢復(fù)形狀 215
7.3.1　光流和運動場 215
7.3.2　光流場和光流方程 217
7.3.3　光流方程求解 219
7.3.4　光流與表面取向 225
7.3.5　光流與相對深度 227
7.4　由分割輪廓恢復(fù)形狀 228
7.5　光度立體技術(shù)綜述 230
7.5.1　光源標定 230
7.5.2　非朗伯表面反射模型 231
7.5.3　彩色光度立體 232
7.5.4　3D重建方法 233
7.6　基于GAN的光度立體 234
7.6.1　網(wǎng)絡(luò)結(jié)構(gòu) 234
7.6.2　損失函數(shù) 235
參考文獻 236

第8章 單目單圖像場景恢復(fù) 241
8.1　由影調(diào)恢復(fù)形狀 242
8.1.1　影調(diào)與形狀 242
8.1.2　圖像亮度方程求解 245
8.2　由紋理恢復(fù)形狀 251
8.2.1　單目成像和紋理畸變 252
8.2.2　由紋理變化恢復(fù)表面朝向 254
8.2.3　紋理消失點檢測 260
8.3　由焦距確定深度 265
8.4　根據(jù)三點透視估計位姿 267
8.4.1　三點透視問題 267
8.4.2　迭代求解 268
8.5　混合表面透視投影下的由影調(diào)恢復(fù)形狀 269
8.5.1　改進的Ward反射模型 269
8.5.2　透視投影下的圖像亮度約束方程 270
8.5.3　圖像亮度約束方程求解 272
8.5.4　基于Blinn-Phong反射模型的方程 273
8.5.5　新圖像亮度約束方程求解 274
參考文獻 276

第9章 廣義匹配 278
9.1　匹配介紹 279
9.1.1　匹配策略 279
9.1.2　匹配算法分類 280
9.1.3　匹配評價 281
9.2　目標匹配 282
9.2.1　匹配的度量 282
9.2.2　對應(yīng)點匹配 285
9.2.3　慣量等效橢圓匹配 286
9.3　動態(tài)模式匹配 288
9.3.1　匹配流程 288
9.3.2　絕對模式和相對模式 289
9.4　匹配和配準 291
9.4.1　配準的實現(xiàn) 291
9.4.2　基于特征匹配的異構(gòu)遙感圖像配準 293
9.4.3　基于空間關(guān)系推理的圖像匹配 294
9.5　關(guān)系匹配 295
9.6　圖同構(gòu)匹配 298
9.6.1　圖論簡介 298
9.6.2　圖同構(gòu)和匹配 301
9.7　線條圖標記和匹配 304
9.7.1　輪廓標記 304
9.7.2　結(jié)構(gòu)推理 305
9.7.3　回朔標記 307
9.8　多模態(tài)圖像匹配 308
9.8.1　基于區(qū)域的技術(shù) 308
9.8.2　基于特征的技術(shù) 310
參考文獻 312

第10章 同時定位和制圖 317
10.1　SLAM概況 318
10.1.1　激光SLAM 318
10.1.2　視覺SLAM 321
10.1.3　對比和結(jié)合 323
10.2　激光SLAM算法 324
10.2.1　Gmapping算法 324
10.2.2　Cartographer算法 326
10.2.3　LOAM算法 330
10.3　視覺SLAM算法 331
10.3.1　ORB-SLAM算法系列 331
10.3.2　LSD-SLAM算法 336
10.3.3　SVO算法 341
10.4　群體機器人和群體SLAM 343
10.4.1　群體機器人的特性 344
10.4.2　群體SLAM要解決的問題 344
10.5　SLAM的一些新動向 345
10.5.1　SLAM與深度學習的結(jié)合 345
10.5.2　SLAM與多智能體的結(jié)合 346
參考文獻 347

第11 章 時空行為理解 354
11.1　時空技術(shù) 355
11.1.1　新的研究領(lǐng)域 355
11.1.2　多個層次 356
11.2　動作分類和識別 357
11.2.1　動作分類 358
11.2.2　動作識別 360
11.3　主體與動作聯(lián)合建模 363
11.3.1　單標簽主體?動作識別 363
11.3.2　多標簽主體?動作識別 364
11.3.3　主體?動作語義分割 365
11.4　活動和行為建模 368
11.4.1　動作建模 369
11.4.2　活動建模和識別 373
11.4.3　基于關(guān)節(jié)點的行為識別 378
11.5　異常事件檢測 381
11.5.1　自動活動分析 381
11.5.2　異常事件檢測方法分類 383
11.5.3　基于卷積自編碼器的檢測 386
11.5.4　基于單類神經(jīng)網(wǎng)絡(luò)的檢測 387
參考文獻 388
主題索引 392