理 論 篇
第1章 增強(qiáng)現(xiàn)實(shí)概念和發(fā)展歷史 2
1.1 相關(guān)概念介紹 2
1.1.1 虛擬現(xiàn)實(shí) 3
1.1.2 增強(qiáng)現(xiàn)實(shí) 4
1.1.3 混合現(xiàn)實(shí) 6
1.1.4 虛實(shí)統(tǒng)一體 7
1.1.5 增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)的區(qū)別 7
1.1.6 “人-機(jī)-環(huán)境”關(guān)系 9
1.1.7 元宇宙 10
1.2 增強(qiáng)現(xiàn)實(shí)呈現(xiàn)手段 11
1.2.1 視覺(jué)呈現(xiàn) 12
1.2.2 聽(tīng)覺(jué)呈現(xiàn) 12
1.2.3 觸覺(jué)呈現(xiàn) 13
1.2.4 嗅覺(jué)和味覺(jué)呈現(xiàn) 14
1.3 增強(qiáng)現(xiàn)實(shí)應(yīng)用的發(fā)展 14
1.3.1 增強(qiáng)現(xiàn)實(shí)用于電視轉(zhuǎn)播 15
1.3.2 首款增強(qiáng)現(xiàn)實(shí)游戲原型 16
1.3.3 谷歌眼鏡和微軟HoloLens 17
1.4 增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù) 17
1.4.1 位姿跟蹤注冊(cè)技術(shù) 17
1.4.2 虛實(shí)融合呈現(xiàn)技術(shù) 18
1.4.3 自然人機(jī)交互技術(shù) 19
1.5 增強(qiáng)現(xiàn)實(shí)應(yīng)用領(lǐng)域 20
第2章 人類視覺(jué)成像基本原理 21
2.1 人眼基本生理結(jié)構(gòu) 21
2.1.1 眼球組織的分層構(gòu)造解析 21
2.1.2 視覺(jué)感知流程 23
2.1.3 視覺(jué)感知類型 24
2.1.4 視覺(jué)基本概念 26
2.2 人眼立體視覺(jué)感知 30
2.2.1 心理立體感知 30
2.2.2 生理立體感知 31
2.3 視覺(jué)感知的四個(gè)層級(jí) 33
2.3.1 傳統(tǒng)平面顯示屏 34
2.3.2 影院式立體眼鏡 34
2.3.3 沉浸式立體顯示 35
2.3.4 光場(chǎng)式立體呈現(xiàn) 37
第3章 視覺(jué)三維感知基礎(chǔ)理論 38
3.1 分層射影幾何 38
3.1.1 分層射影幾何基本概念 38
3.1.2 二維射影空間 40
3.1.3 三維射影空間 42
3.2 相機(jī)成像模型 43
3.2.1 小孔相機(jī)模型 44
3.2.2 圖像的像素化 44
3.2.3 坐標(biāo)系的變換 45
3.2.4 完整變換過(guò)程 45
3.2.5 成像矩陣表示 46
3.3 多視圖幾何理論 47
3.3.1 兩幅圖像的對(duì)極幾何關(guān)系 47
3.3.2 基本矩陣的估計(jì)方法 48
3.3.3 三幅圖像的多焦距張量 49
3.3.4 三焦距張量的估計(jì)方法 52
3.4 三維重建與增強(qiáng)現(xiàn)實(shí)的關(guān)系 53
第4章 光場(chǎng)概念及其研究進(jìn)展 54
4.1 光場(chǎng)基本概念 54
4.1.1 光場(chǎng)的參數(shù)表示 54
4.1.2 光場(chǎng)的四維表示 55
4.1.3 光場(chǎng)的幾何解釋 59
4.1.4 光場(chǎng)的魔盒解釋 60
4.2 光場(chǎng)數(shù)據(jù)采集 61
4.2.1 基于相機(jī)陣列的光場(chǎng)數(shù)據(jù)采集 61
4.2.2 基于微透鏡陣列的光場(chǎng)數(shù)據(jù)采集 66
4.2.3 基于編碼掩膜的光場(chǎng)數(shù)據(jù)采集 73
4.2.4 光場(chǎng)數(shù)據(jù)采集方案的對(duì)比分析 75
4.3 光場(chǎng)數(shù)據(jù)處理 75
4.3.1 光場(chǎng)數(shù)據(jù)的可視化處理 75
4.3.2 基于光場(chǎng)數(shù)據(jù)的重聚焦 77
4.3.3 基于光場(chǎng)數(shù)據(jù)的深度估計(jì) 79
4.4 光場(chǎng)數(shù)據(jù)顯示 84
4.4.1 體三維顯示 84
4.4.2 多視投影陣列顯示 86
4.4.3 集成成像顯示 88
4.4.4 多層液晶張量光場(chǎng)顯示 89
4.5 光場(chǎng)研究意義 93
4.5.1 理論研究?jī)r(jià)值 93
4.5.2 潛在的應(yīng)用領(lǐng)域 94
4.5.3 與增強(qiáng)現(xiàn)實(shí)的關(guān)系 95
技 術(shù) 篇
第5章 增強(qiáng)現(xiàn)實(shí)中的三維圖形繪制技術(shù) 98
5.1 計(jì)算機(jī)圖形學(xué)基礎(chǔ) 98
5.1.1 基本圖形元素 99
5.1.2 矢量幾何含義 100
5.1.3 幾何拓?fù)潢P(guān)系 105
5.1.4 幾何實(shí)體定義 106
5.2 三維實(shí)體模型繪制 107
5.2.1 圖形系統(tǒng)基本組成 107
5.2.2 圖形繪制基本流程 108
5.3 視圖模型變換過(guò)程 108
5.3.1 成像過(guò)程 108
5.3.2 模型變換 110
5.3.3 投影變換 111
5.3.4 裁剪變換 112
5.3.5 視口變換 112
5.3.6 矩陣堆棧 113
5.4 圖形繪制相關(guān)技術(shù) 113
5.4.1 紋理映射 113
5.4.2 光照模型 114
5.4.3 視點(diǎn)漫游 116
5.4.4 GPU加速繪制 117
5.4.5 云繪制技術(shù) 120
5.5 常用圖形開(kāi)發(fā)接口 124
5.5.1 OpenGL 125
5.5.2 Direct3D 125
第6章 增強(qiáng)現(xiàn)實(shí)中的位姿跟蹤注冊(cè)技術(shù) 126
6.1 位姿跟蹤注冊(cè)框架 126
6.1.1 對(duì)位姿跟蹤的基本要求 126
6.1.2 位姿跟蹤注冊(cè)方法 127
6.2 基于視覺(jué)的位姿跟蹤技術(shù) 128
6.2.1 跟蹤基本流程 128
6.2.2 圖像特征匹配 129
6.2.3 空間位姿解算 130
6.2.4 相關(guān)數(shù)學(xué)算法 131
6.3 基于慣導(dǎo)的位姿跟蹤技術(shù) 132
6.3.1 IMU運(yùn)動(dòng)模型 133
6.3.2 IMU預(yù)積分 133
6.4 其他位姿跟蹤技術(shù) 134
6.4.1 基于衛(wèi)星的位置跟蹤 134
6.4.2 基于實(shí)時(shí)動(dòng)態(tài)定位技術(shù)的位置跟蹤 135
6.4.3 基于超寬帶技術(shù)的位置跟蹤 136
6.5 多傳感器融合跟蹤技術(shù) 139
第7章 增強(qiáng)現(xiàn)實(shí)中的虛實(shí)融合呈現(xiàn)技術(shù) 141
7.1 近眼光學(xué)微顯示技術(shù) 142
7.1.1 液晶顯示技術(shù) 143
7.1.2 硅基液晶顯示技術(shù) 144
7.1.3 有機(jī)發(fā)光二極管顯示技術(shù) 146
7.1.4 數(shù)字光處理技術(shù) 147
7.1.5 微型有機(jī)電激光顯示技術(shù) 150
7.1.6 微發(fā)光二極管顯示技術(shù) 151
7.1.7 其他光學(xué)顯示技術(shù) 153
7.2 近眼光路組合技術(shù) 154
7.2.1 棱鏡光路技術(shù) 155
7.2.2 Birdbath光路技術(shù) 155
7.2.3 自由曲面反射鏡光路技術(shù) 157
7.2.4 自由曲面棱鏡光路技術(shù) 157
7.2.5 光波導(dǎo)技術(shù) 159
7.3 環(huán)境光自適應(yīng)控制技術(shù) 166
7.3.1 環(huán)境光感知技術(shù) 166
7.3.2 電致變色技術(shù) 168
7.4 近眼顯示系統(tǒng)相關(guān)問(wèn)題 170
7.4.1 光學(xué)轉(zhuǎn)換效率 170
7.4.2 移動(dòng)時(shí)間延遲 170
7.4.3 雜散光影響 171
7.4.4 視覺(jué)舒適性 171
第8章 增強(qiáng)現(xiàn)實(shí)中的自然人機(jī)交互技術(shù) 173
8.1 多模態(tài)人機(jī)交互框架設(shè)計(jì) 173
8.2 基于語(yǔ)音識(shí)別的人機(jī)交互技術(shù) 174
8.2.1 研究及應(yīng)用場(chǎng)景 175
8.2.2 端到端語(yǔ)音識(shí)別 176
8.2.3 無(wú)聲語(yǔ)音識(shí)別技術(shù) 177
8.2.4 視聽(tīng)語(yǔ)音識(shí)別技術(shù) 179
8.2.5 小結(jié) 180
8.3 基于手勢(shì)識(shí)別的人機(jī)交互技術(shù) 181
8.3.1 研究及應(yīng)用場(chǎng)景 181
8.3.2 基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別技術(shù) 181
8.3.3 基于生物電信號(hào)的手勢(shì)識(shí)別技術(shù) 183
8.3.4 基于傳感手套的手勢(shì)識(shí)別技術(shù) 184
8.3.5 小結(jié) 185
8.4 基于眼動(dòng)追蹤的人機(jī)交互技術(shù) 185
8.4.1 研究及應(yīng)用場(chǎng)景 185
8.4.2 眼動(dòng)追蹤處理流程 186
8.4.3 二維注視估計(jì) 186
8.4.4 眼動(dòng)注視追蹤 187
8.4.5 三維注視估計(jì) 188
8.4.6 典型應(yīng)用分析 189
8.4.7 小結(jié) 191
8.5 基于觸覺(jué)反饋的人機(jī)交互技術(shù) 191
8.5.1 研究及應(yīng)用場(chǎng)景 191
8.5.2 基于引腳陣列的觸覺(jué)反饋技術(shù) 192
8.5.3 基于力向量的觸覺(jué)反饋技術(shù) 192
8.5.4 基于振動(dòng)的觸覺(jué)反饋技術(shù) 192
8.5.5 其他觸覺(jué)反饋相關(guān)技術(shù) 192
8.5.6 基于可穿戴織物的增強(qiáng)現(xiàn)實(shí)觸覺(jué)設(shè)備 193
8.5.7 小結(jié) 194
8.6 多模態(tài)交互融合案例分析 194
8.6.1 研究及應(yīng)用場(chǎng)景 194
8.6.2 基于視覺(jué)和語(yǔ)音的雙模態(tài)交互 195
8.6.3 基于手勢(shì)和語(yǔ)音的雙模態(tài)交互 195
8.6.4 基于語(yǔ)音、觸摸、移動(dòng)的多模態(tài)交互技術(shù) 201
8.6.5 基于語(yǔ)音與觸控的多模態(tài)交互技術(shù) 201
8.6.6 基于人臉識(shí)別與觸控的多模態(tài)交互技術(shù) 202
8.6.7 基于多種感官的多模態(tài)交互 203
8.6.8 基于混合腦機(jī)接口的交互 203
8.6.9 小結(jié) 204
8.7 總結(jié) 204
應(yīng) 用 篇
第9章 增強(qiáng)現(xiàn)實(shí)系統(tǒng)基本組成 208
9.1 增強(qiáng)現(xiàn)實(shí)系統(tǒng)架構(gòu) 209
9.2 增強(qiáng)現(xiàn)實(shí)主流硬件 210
9.2.1 感知單元 211
9.2.2 計(jì)算單元 214
9.2.3 顯示單元 214
9.2.4 交互單元 215
9.3 增強(qiáng)現(xiàn)實(shí)開(kāi)發(fā)工具包 218
9.3.1 發(fā)展過(guò)程 219
9.3.2 ARKit工具包 219
9.3.3 ARCore工具包 223
9.3.4 Vuforia工具包 226
9.3.5 Augument工具包 227
9.4 增強(qiáng)現(xiàn)實(shí)繪制引擎 228
9.4.1 開(kāi)發(fā)者社區(qū)方面 229
9.4.2 程序開(kāi)發(fā)方面 229
第10章 典型領(lǐng)域應(yīng)用前景分析 231
10.1 工業(yè)領(lǐng)域應(yīng)用 231
10.1.1 建筑設(shè)計(jì)領(lǐng)域應(yīng)用 231
10.1.2 工業(yè)設(shè)計(jì)領(lǐng)域應(yīng)用 232
10.1.3 裝配維修領(lǐng)域應(yīng)用 233
10.1.4 工業(yè)數(shù)字孿生應(yīng)用 234
10.2 醫(yī)療領(lǐng)域應(yīng)用 236
10.3 教育領(lǐng)域應(yīng)用 238
10.4 文娛領(lǐng)域應(yīng)用 240
第11章 軍事領(lǐng)域應(yīng)用前景分析 242
11.1 典型軍事應(yīng)用需求分析 242
11.1.1 戰(zhàn)場(chǎng)態(tài)勢(shì)感知增強(qiáng) 242
11.1.2 新型作戰(zhàn)指揮模式 245
11.1.3 模擬仿真訓(xùn)練應(yīng)用 247
11.1.4 裝備輔助維修應(yīng)用 249
11.2 美軍的集成視覺(jué)增強(qiáng)系統(tǒng) 250
11.3 電子沙盤指控應(yīng)用案例 253
11.3.1 電子沙盤應(yīng)用背景 253
11.3.2 應(yīng)用案例框架設(shè)計(jì) 253
11.3.3 主要信息處理流程 254
11.3.4 典型場(chǎng)景應(yīng)用驗(yàn)證 255
11.3.5 案例實(shí)踐總結(jié)分析 258
11.4 班組戰(zhàn)斗協(xié)同應(yīng)用案例 260
11.4.1 戰(zhàn)斗協(xié)同應(yīng)用背景 260
11.4.2 應(yīng)用案例框架設(shè)計(jì) 260
11.4.3 典型場(chǎng)景應(yīng)用驗(yàn)證 262
11.4.4 主要技術(shù)難點(diǎn)分析 263
11.5 協(xié)同標(biāo)繪應(yīng)用案例 265
11.5.1 協(xié)同標(biāo)繪應(yīng)用背景 265
11.5.2 應(yīng)用案例框架設(shè)計(jì) 265
11.5.3 主要技術(shù)難點(diǎn)分析 267
參考文獻(xiàn) 268