理 論 篇
第1章 增強現(xiàn)實概念和發(fā)展歷史 2
1.1 相關概念介紹 2
1.1.1 虛擬現(xiàn)實 3
1.1.2 增強現(xiàn)實 4
1.1.3 混合現(xiàn)實 6
1.1.4 虛實統(tǒng)一體 7
1.1.5 增強現(xiàn)實與虛擬現(xiàn)實的區(qū)別 7
1.1.6 “人-機-環(huán)境”關系 9
1.1.7 元宇宙 10
1.2 增強現(xiàn)實呈現(xiàn)手段 11
1.2.1 視覺呈現(xiàn) 12
1.2.2 聽覺呈現(xiàn) 12
1.2.3 觸覺呈現(xiàn) 13
1.2.4 嗅覺和味覺呈現(xiàn) 14
1.3 增強現(xiàn)實應用的發(fā)展 14
1.3.1 增強現(xiàn)實用于電視轉播 15
1.3.2 首款增強現(xiàn)實游戲原型 16
1.3.3 谷歌眼鏡和微軟HoloLens 17
1.4 增強現(xiàn)實關鍵技術 17
1.4.1 位姿跟蹤注冊技術 17
1.4.2 虛實融合呈現(xiàn)技術 18
1.4.3 自然人機交互技術 19
1.5 增強現(xiàn)實應用領域 20
第2章 人類視覺成像基本原理 21
2.1 人眼基本生理結構 21
2.1.1 眼球組織的分層構造解析 21
2.1.2 視覺感知流程 23
2.1.3 視覺感知類型 24
2.1.4 視覺基本概念 26
2.2 人眼立體視覺感知 30
2.2.1 心理立體感知 30
2.2.2 生理立體感知 31
2.3 視覺感知的四個層級 33
2.3.1 傳統(tǒng)平面顯示屏 34
2.3.2 影院式立體眼鏡 34
2.3.3 沉浸式立體顯示 35
2.3.4 光場式立體呈現(xiàn) 37
第3章 視覺三維感知基礎理論 38
3.1 分層射影幾何 38
3.1.1 分層射影幾何基本概念 38
3.1.2 二維射影空間 40
3.1.3 三維射影空間 42
3.2 相機成像模型 43
3.2.1 小孔相機模型 44
3.2.2 圖像的像素化 44
3.2.3 坐標系的變換 45
3.2.4 完整變換過程 45
3.2.5 成像矩陣表示 46
3.3 多視圖幾何理論 47
3.3.1 兩幅圖像的對極幾何關系 47
3.3.2 基本矩陣的估計方法 48
3.3.3 三幅圖像的多焦距張量 49
3.3.4 三焦距張量的估計方法 52
3.4 三維重建與增強現(xiàn)實的關系 53
第4章 光場概念及其研究進展 54
4.1 光場基本概念 54
4.1.1 光場的參數(shù)表示 54
4.1.2 光場的四維表示 55
4.1.3 光場的幾何解釋 59
4.1.4 光場的魔盒解釋 60
4.2 光場數(shù)據(jù)采集 61
4.2.1 基于相機陣列的光場數(shù)據(jù)采集 61
4.2.2 基于微透鏡陣列的光場數(shù)據(jù)采集 66
4.2.3 基于編碼掩膜的光場數(shù)據(jù)采集 73
4.2.4 光場數(shù)據(jù)采集方案的對比分析 75
4.3 光場數(shù)據(jù)處理 75
4.3.1 光場數(shù)據(jù)的可視化處理 75
4.3.2 基于光場數(shù)據(jù)的重聚焦 77
4.3.3 基于光場數(shù)據(jù)的深度估計 79
4.4 光場數(shù)據(jù)顯示 84
4.4.1 體三維顯示 84
4.4.2 多視投影陣列顯示 86
4.4.3 集成成像顯示 88
4.4.4 多層液晶張量光場顯示 89
4.5 光場研究意義 93
4.5.1 理論研究價值 93
4.5.2 潛在的應用領域 94
4.5.3 與增強現(xiàn)實的關系 95
技 術 篇
第5章 增強現(xiàn)實中的三維圖形繪制技術 98
5.1 計算機圖形學基礎 98
5.1.1 基本圖形元素 99
5.1.2 矢量幾何含義 100
5.1.3 幾何拓撲關系 105
5.1.4 幾何實體定義 106
5.2 三維實體模型繪制 107
5.2.1 圖形系統(tǒng)基本組成 107
5.2.2 圖形繪制基本流程 108
5.3 視圖模型變換過程 108
5.3.1 成像過程 108
5.3.2 模型變換 110
5.3.3 投影變換 111
5.3.4 裁剪變換 112
5.3.5 視口變換 112
5.3.6 矩陣堆棧 113
5.4 圖形繪制相關技術 113
5.4.1 紋理映射 113
5.4.2 光照模型 114
5.4.3 視點漫游 116
5.4.4 GPU加速繪制 117
5.4.5 云繪制技術 120
5.5 常用圖形開發(fā)接口 124
5.5.1 OpenGL 125
5.5.2 Direct3D 125
第6章 增強現(xiàn)實中的位姿跟蹤注冊技術 126
6.1 位姿跟蹤注冊框架 126
6.1.1 對位姿跟蹤的基本要求 126
6.1.2 位姿跟蹤注冊方法 127
6.2 基于視覺的位姿跟蹤技術 128
6.2.1 跟蹤基本流程 128
6.2.2 圖像特征匹配 129
6.2.3 空間位姿解算 130
6.2.4 相關數(shù)學算法 131
6.3 基于慣導的位姿跟蹤技術 132
6.3.1 IMU運動模型 133
6.3.2 IMU預積分 133
6.4 其他位姿跟蹤技術 134
6.4.1 基于衛(wèi)星的位置跟蹤 134
6.4.2 基于實時動態(tài)定位技術的位置跟蹤 135
6.4.3 基于超寬帶技術的位置跟蹤 136
6.5 多傳感器融合跟蹤技術 139
第7章 增強現(xiàn)實中的虛實融合呈現(xiàn)技術 141
7.1 近眼光學微顯示技術 142
7.1.1 液晶顯示技術 143
7.1.2 硅基液晶顯示技術 144
7.1.3 有機發(fā)光二極管顯示技術 146
7.1.4 數(shù)字光處理技術 147
7.1.5 微型有機電激光顯示技術 150
7.1.6 微發(fā)光二極管顯示技術 151
7.1.7 其他光學顯示技術 153
7.2 近眼光路組合技術 154
7.2.1 棱鏡光路技術 155
7.2.2 Birdbath光路技術 155
7.2.3 自由曲面反射鏡光路技術 157
7.2.4 自由曲面棱鏡光路技術 157
7.2.5 光波導技術 159
7.3 環(huán)境光自適應控制技術 166
7.3.1 環(huán)境光感知技術 166
7.3.2 電致變色技術 168
7.4 近眼顯示系統(tǒng)相關問題 170
7.4.1 光學轉換效率 170
7.4.2 移動時間延遲 170
7.4.3 雜散光影響 171
7.4.4 視覺舒適性 171
第8章 增強現(xiàn)實中的自然人機交互技術 173
8.1 多模態(tài)人機交互框架設計 173
8.2 基于語音識別的人機交互技術 174
8.2.1 研究及應用場景 175
8.2.2 端到端語音識別 176
8.2.3 無聲語音識別技術 177
8.2.4 視聽語音識別技術 179
8.2.5 小結 180
8.3 基于手勢識別的人機交互技術 181
8.3.1 研究及應用場景 181
8.3.2 基于計算機視覺的手勢識別技術 181
8.3.3 基于生物電信號的手勢識別技術 183
8.3.4 基于傳感手套的手勢識別技術 184
8.3.5 小結 185
8.4 基于眼動追蹤的人機交互技術 185
8.4.1 研究及應用場景 185
8.4.2 眼動追蹤處理流程 186
8.4.3 二維注視估計 186
8.4.4 眼動注視追蹤 187
8.4.5 三維注視估計 188
8.4.6 典型應用分析 189
8.4.7 小結 191
8.5 基于觸覺反饋的人機交互技術 191
8.5.1 研究及應用場景 191
8.5.2 基于引腳陣列的觸覺反饋技術 192
8.5.3 基于力向量的觸覺反饋技術 192
8.5.4 基于振動的觸覺反饋技術 192
8.5.5 其他觸覺反饋相關技術 192
8.5.6 基于可穿戴織物的增強現(xiàn)實觸覺設備 193
8.5.7 小結 194
8.6 多模態(tài)交互融合案例分析 194
8.6.1 研究及應用場景 194
8.6.2 基于視覺和語音的雙模態(tài)交互 195
8.6.3 基于手勢和語音的雙模態(tài)交互 195
8.6.4 基于語音、觸摸、移動的多模態(tài)交互技術 201
8.6.5 基于語音與觸控的多模態(tài)交互技術 201
8.6.6 基于人臉識別與觸控的多模態(tài)交互技術 202
8.6.7 基于多種感官的多模態(tài)交互 203
8.6.8 基于混合腦機接口的交互 203
8.6.9 小結 204
8.7 總結 204
應 用 篇
第9章 增強現(xiàn)實系統(tǒng)基本組成 208
9.1 增強現(xiàn)實系統(tǒng)架構 209
9.2 增強現(xiàn)實主流硬件 210
9.2.1 感知單元 211
9.2.2 計算單元 214
9.2.3 顯示單元 214
9.2.4 交互單元 215
9.3 增強現(xiàn)實開發(fā)工具包 218
9.3.1 發(fā)展過程 219
9.3.2 ARKit工具包 219
9.3.3 ARCore工具包 223
9.3.4 Vuforia工具包 226
9.3.5 Augument工具包 227
9.4 增強現(xiàn)實繪制引擎 228
9.4.1 開發(fā)者社區(qū)方面 229
9.4.2 程序開發(fā)方面 229
第10章 典型領域應用前景分析 231
10.1 工業(yè)領域應用 231
10.1.1 建筑設計領域應用 231
10.1.2 工業(yè)設計領域應用 232
10.1.3 裝配維修領域應用 233
10.1.4 工業(yè)數(shù)字孿生應用 234
10.2 醫(yī)療領域應用 236
10.3 教育領域應用 238
10.4 文娛領域應用 240
第11章 軍事領域應用前景分析 242
11.1 典型軍事應用需求分析 242
11.1.1 戰(zhàn)場態(tài)勢感知增強 242
11.1.2 新型作戰(zhàn)指揮模式 245
11.1.3 模擬仿真訓練應用 247
11.1.4 裝備輔助維修應用 249
11.2 美軍的集成視覺增強系統(tǒng) 250
11.3 電子沙盤指控應用案例 253
11.3.1 電子沙盤應用背景 253
11.3.2 應用案例框架設計 253
11.3.3 主要信息處理流程 254
11.3.4 典型場景應用驗證 255
11.3.5 案例實踐總結分析 258
11.4 班組戰(zhàn)斗協(xié)同應用案例 260
11.4.1 戰(zhàn)斗協(xié)同應用背景 260
11.4.2 應用案例框架設計 260
11.4.3 典型場景應用驗證 262
11.4.4 主要技術難點分析 263
11.5 協(xié)同標繪應用案例 265
11.5.1 協(xié)同標繪應用背景 265
11.5.2 應用案例框架設計 265
11.5.3 主要技術難點分析 267
參考文獻 268