本書面對(duì)航空特色專業(yè)和信息工程領(lǐng)域的發(fā)展需求,深入探討現(xiàn)代航空?qǐng)D像處理與計(jì)算機(jī)視覺的專業(yè)知識(shí),強(qiáng)調(diào)學(xué)科交叉,結(jié)合國內(nèi)外航空領(lǐng)域的創(chuàng)新創(chuàng)業(yè)活動(dòng),開展編寫工作。全書共7章,主要內(nèi)容包括:緒論,機(jī)載成像傳感器,航空?qǐng)D像增強(qiáng)、復(fù)原和幾何校正,圖像特征分析與景象匹配,遙感圖像中的地物分類,對(duì)地觀測(cè)目標(biāo)定位與跟蹤,基于航空?qǐng)D像的三維重建等。讀者能夠獲得必要的航空?qǐng)D像處理知識(shí)與技能,以及分析和解決復(fù)雜工程問題的能力,以適應(yīng)未來科學(xué)研究、產(chǎn)品開發(fā)和工程管理的需求。本書適用于面向高年級(jí)本科生與研究生的產(chǎn)教融合教學(xué),也可供相關(guān)領(lǐng)域的工程技術(shù)人員學(xué)習(xí)、參考。
李明磊,現(xiàn)就職于南京航空航天大學(xué)電子信息工程學(xué)院,副教授。2011年畢業(yè)于武漢大學(xué),獲得學(xué)士學(xué)位;2016年畢業(yè)于中國科學(xué)院大學(xué),獲得博士學(xué)位。曾在德國漢諾威大學(xué)、沙特阿卜杜拉國王科技大學(xué)從事訪問學(xué)者工作。主要研究方向包括:三維計(jì)算機(jī)視覺、激光雷達(dá)系統(tǒng)研制、無人機(jī)自主感知和先進(jìn)遙感技術(shù)等。截至2024年12月,主持中央軍委裝備發(fā)展部HY課題、國家自然科學(xué)基金面上項(xiàng)目等縱向課題7項(xiàng),主持航天科工、航天科技、中航工業(yè)、中船重工、中國電科等下屬研究所課題17項(xiàng),發(fā)表學(xué)術(shù)論文40余篇,曾獲得江蘇省科學(xué)技術(shù)獎(jiǎng)二等獎(jiǎng)(排名1)、全國高校教師教學(xué)創(chuàng)新大賽三等獎(jiǎng)(排名1)等省部級(jí)以上獎(jiǎng)勵(lì)4項(xiàng)。
目 錄
第1章 緒論 1
1.1 引言 1
1.1.1 數(shù)字圖像基礎(chǔ) 2
1.1.2 攝影測(cè)量與遙感 3
1.1.3 計(jì)算機(jī)視覺 5
1.2 航空?qǐng)D像的發(fā)展歷史 6
1.2.1 早期航空?qǐng)D像的獲取 6
1.2.2 航空飛行平臺(tái) 8
1.2.3 現(xiàn)代航空?qǐng)D像 12
1.3 航空?qǐng)D像的應(yīng)用舉例 15
1.3.1 地圖制圖學(xué) 15
1.3.2 防災(zāi)應(yīng)急 16
1.3.3 軍事與公共安全 16
1.3.4 其他 17
1.4 航空?qǐng)D像處理的問題與挑戰(zhàn) 17
1.5 本章小結(jié) 19
第2章 機(jī)載成像傳感器 20
2.1 電磁波譜成像 20
2.2 成像傳感器的類型 21
2.2.1 機(jī)載數(shù)碼相機(jī) 21
2.2.2 熱輻射傳感器 23
2.2.3 多光譜傳感器 24
2.2.4 高光譜傳感器 25
2.2.5 微波輻射計(jì) 26
2.2.6 合成孔徑雷達(dá)(SAR) 26
2.3 光學(xué)相機(jī)的數(shù)學(xué)模型 29
2.3.1 成像模型的基本元素 29
2.3.2 成像坐標(biāo)系定義 30
2.3.3 透視投影成像模型 31
2.3.4 圖像畸變數(shù)學(xué)模型 33
2.3.5 光學(xué)相機(jī)的幾何標(biāo)定 35
2.4 干涉合成孔徑雷達(dá)成像 38
2.4.1 雷達(dá)干涉測(cè)量的原理 38
2.4.2 雷達(dá)干涉圖和數(shù)字高程圖 40
2.4.3 DInSAR和變形測(cè)量 43
2.4.4 多時(shí)間相干圖像 47
2.4.5 空間去相關(guān)和比率相干技術(shù) 49
2.4.6 條紋平滑濾波器 51
2.5 激光雷達(dá)掃描儀 53
2.5.1 LiDAR成像特點(diǎn) 53
2.5.2 飛行時(shí)間法 54
2.5.3 系統(tǒng)基本組成 55
2.5.4 三維點(diǎn)云特征分析 58
2.6 本章小結(jié) 60
第3章 航空?qǐng)D像增強(qiáng)、復(fù)原和幾何校正 61
3.1 空間域圖像增強(qiáng) 61
3.1.1 基本灰度變換 61
3.1.2 基于直方圖的圖像增強(qiáng) 64
3.1.3 基于空間濾波器的圖像增強(qiáng) 67
3.2 頻率域增強(qiáng) 73
3.2.1 傅里葉變換 73
3.2.2 傅里葉頻域?yàn)V波器 77
3.2.3 離散余弦變換 79
3.3 航空?qǐng)D像去霧 81
3.3.1 圖像復(fù)原的概述 81
3.3.2 航空?qǐng)D像去霧的概述 81
3.3.3 基于物理模型的去霧算法 82
3.3.4 基于暗通道先驗(yàn)的去霧算法 83
3.4 圖像超分辨率重建 86
3.4.1 超分辨率重建的概念 86
3.4.2 多圖像超分辨率重建技術(shù) 87
3.4.3 單圖像超分辨率重建技術(shù) 89
3.4.4 基于稀疏表示的超分辨率重建算法 91
3.5 遙感圖像幾何校正 93
3.5.1 圖像的幾何變形 93
3.5.2 多項(xiàng)式變形模型 95
3.5.3 GCP的選擇和圖像聯(lián)合配準(zhǔn)的自動(dòng)化 98
3.6 本章小結(jié) 100
第4章 圖像特征分析與景象匹配 101
4.1 邊緣信息 101
4.1.1 邊緣檢測(cè) 101
4.1.2 邊緣跟蹤 103
4.2 特征點(diǎn)提取和特征描述 104
4.2.1 Harris角點(diǎn) 105
4.2.2 FAST角點(diǎn) 107
4.2.3 SIFT特征點(diǎn) 108
4.2.4 SURF特征點(diǎn) 112
4.2.5 ORB特征提取 115
4.2.6 特征點(diǎn)匹配 116
4.3 紋理特征表達(dá) 120
4.3.1 紋理的概念 120
4.3.2 紋理特征類型 120
4.4 形狀特征提取 123
4.4.1 圖像中形狀的概述 123
4.4.2 形狀特征的應(yīng)用 124
4.4.3 形狀的描述和表示 124
4.5 景象匹配 125
4.5.1 初始區(qū)域搜索 126
4.5.2 灰度匹配法 127
4.5.3 基于特征的匹配方法 130
4.5.4 基于深度學(xué)習(xí)的匹配方法 133
4.5.5 景象匹配效果舉例 139
4.6 本章小結(jié) 139
第5章 遙感圖像中的地物分類 140
5.1 圖像分類基本知識(shí) 140
5.1.1 圖像識(shí)別方法 140
5.1.2 分類器的設(shè)計(jì) 141
5.2 傳統(tǒng)地物分類方法 142
5.2.1 非監(jiān)督迭代聚類 142
5.2.2 特征空間迭代聚類 144
5.2.3 聚類分裂 145
5.3 監(jiān)督分類 147
5.3.1 監(jiān)督分類算法的一般范式 147
5.3.2 光譜角度映射分類 147
5.3.3 決策規(guī)則:差異性度量函數(shù) 148
5.3.4 最優(yōu)多數(shù)點(diǎn)重分配 149
5.3.5 分類后平滑和準(zhǔn)確性評(píng)估 150
5.4 基于支持向量機(jī)的遙感圖像地物分類 153
5.4.1 SVM理論基礎(chǔ) 153
5.4.2 多分類SVM 154
5.5 基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型 155
5.5.1 卷積神經(jīng)網(wǎng)絡(luò) 155
5.5.2 全卷積神經(jīng)網(wǎng)絡(luò) 162
5.5.3 UNet 163
5.5.4 DeepLab系列網(wǎng)絡(luò) 164
5.5.5 基于SAM的遙感分類網(wǎng)絡(luò) 167
5.6 基于改進(jìn)型DeepLabv3+的地物分類 168
5.6.1 輕量化網(wǎng)絡(luò)MobileNetv2 168
5.6.2 條件隨機(jī)場(chǎng) 171
5.6.3 基于改進(jìn)型DeepLabv3+的遙感圖像地物分類 172
5.6.4 分類實(shí)驗(yàn) 172
5.7 本章小結(jié) 175
第6章 對(duì)地觀測(cè)目標(biāo)定位與跟蹤 177
6.1 載體平臺(tái)的位置與姿態(tài) 177
6.1.1 全球?qū)Ш叫l(wèi)星系統(tǒng) 177
6.1.2 慣性導(dǎo)航系統(tǒng) 179
6.2 地面目標(biāo)檢測(cè) 180
6.2.1 混合概率密度模型分割檢測(cè) 180
6.2.2 基于深度學(xué)習(xí)的目標(biāo)檢測(cè) 187
6.2.3 紅外圖像小目標(biāo)檢測(cè) 192
6.3 基于機(jī)載光電吊艙數(shù)據(jù)的目標(biāo)定位與測(cè)速 197
6.3.1 目標(biāo)地理定位 197
6.3.2 目標(biāo)測(cè)速 200
6.4 視覺SLAM系統(tǒng) 202
6.4.1 視覺SLAM基本概念 202
6.4.2 ORB-SLAM2算法 204
6.4.3 顧及動(dòng)態(tài)目標(biāo)的改進(jìn)SLAM算法 206
6.4.4 基于神經(jīng)輻射場(chǎng)的SLAM算法 208
6.5 視頻目標(biāo)跟蹤 209
6.5.1 基于核相關(guān)的視頻目標(biāo)跟蹤算法 210
6.5.2 基于卡爾曼濾波的視頻目標(biāo)跟蹤算法 214
6.5.3 基于匈牙利算法的目標(biāo)關(guān)聯(lián)方法 217
6.6 本章小結(jié) 227
第7章 基于航空?qǐng)D像的三維重建 228
7.1 引言 228
7.2 對(duì)極幾何基礎(chǔ) 229
7.2.1 對(duì)極幾何恢復(fù) 229
7.2.2 求解二視圖的基礎(chǔ)矩陣 236
7.2.3 三視圖和四視圖幾何計(jì)算 240
7.3 攝像機(jī)位置姿態(tài)和場(chǎng)景結(jié)構(gòu)恢復(fù) 240
7.3.1 初始化圖像位置姿態(tài)和場(chǎng)景結(jié)構(gòu) 241
7.3.2 由本質(zhì)矩陣提取攝像機(jī)矩陣 242
7.3.3 更新結(jié)構(gòu)和位置姿態(tài) 244
7.3.4 PnP問題 245
7.4 光束法平差 246
7.4.1 光束法平差模型 246
7.4.2 最小二乘原理 247
7.4.3 高斯?牛頓算法 248
7.4.4 列文伯格?馬奎特算法 248
7.4.5 光束法平差的LM算法模型 250
7.4.6 稀疏光束法平差 250
7.5 航拍軌跡和視點(diǎn)優(yōu)化 252
7.5.1 生成視點(diǎn)搜索空間 253
7.5.2 量化視點(diǎn)收益 255
7.5.3 路徑規(guī)劃 256
7.6 城市場(chǎng)景建模 257
7.6.1 城市場(chǎng)景的三維數(shù)據(jù)采集 257
7.6.2 單體化建模 260
7.7 基于NeRF和Gaussian Splatting的全新方法 265
7.7.1 神經(jīng)輻射場(chǎng)NeRF 265
7.7.2 高斯?jié)姙R 267
7.8 本章小結(jié) 268
參考文獻(xiàn) 270