深度學習目標檢測識別技術是人工智能專業(yè)當前研究熱點,在民用和國防領域都有著重大需求,也是一個巨大的技術難題,在資源受限平臺下,目標感知不確定性大、效率低、功耗大。本書旨在通過對智能網絡目標識別技術主要原理和方法的介紹,并且結合作者自己多年來智能感知方面的研究成果,對于其他書籍未涉及到的一些前沿研究進行了補充闡述。本書共八章,第一章和第二章介紹了智能目標的發(fā)展歷史,簡介了機器學習的基本概念,歸納了基于統(tǒng)計模式識別問題和基于深度學習目標識別,深入研究了主流深度學習算法的發(fā)展過程和技術細節(jié),這部分作為進一步學習不確定視覺感知的基礎內容。第三章和第四章介紹了不確定視覺感知與深度學習的理論和應用結合,包括不確定性視覺感知的定義,Gabor不確定性有界表征和Gabor深度學習網絡,以及調制卷積神經網絡的具體實現細節(jié)和實驗驗證。第五章至第八章詳細討論了基于不確定性視覺感知算法的應用和部署,包括智能目標檢測與識別的架構和方法設計,可解釋目標識別方法與應用,知識內嵌智能網絡識別方法的技術細節(jié)和應用,以及深度學習模型壓縮技術與部署。
石曉榮,現任航天科工集團公司高級專家,兼任裝備發(fā)展部某專業(yè)組成員、軍科委某領域青年專家,某國家重大專項論證組成員。曾任多個型號副總師,現任某專項應用總師。一直從事導航制導與控制科研工作,理論與實踐經驗豐富。獲國防科技卓越青年基金資質。獲國家科技進步特等獎1項、國防科技進步一等獎2項。授權專利30余項,發(fā)表論文20余篇。獲全國三八紅旗手、五四青年獎章和國務院政府特殊津貼。
第 1 章? 智能網絡目標識別發(fā)展概述 ………………………………………………… 1
1.1 目標識別技術 …………………………………………………………………… 2
1.1.1 目標識別的基本概念與原理 …………………………………………… 2
1.1.2 目標識別的發(fā)展歷程 …………………………………………………… 3
1.2 傳統(tǒng)目標識別技術 ……………………………………………………………… 4
1.2.1 經典的特征提取原理 …………………………………………………… 4
1.2.2 經典目標檢測器 ……………………………………………………… 13
1.3 智能網絡目標識別技術 ……………………………………………………… 15
1.3.1 基于錨框的智能網絡目標識別技術 ………………………………… 16
1.3.2 無錨框的智能網絡目標識別技術 …………………………………… 18
1.4 數據集及模型評估指標 ……………………………………………………… 20
1.4.1 目標分類任務的公開數據集和模型評估指標 ……………………… 20
1.4.2 目標檢測任務的公開數據集和模型評估指標 ……………………… 23
1.5 總結 …………………………………………………………………………… 26
參考文獻 …………………………………………………………………………… 26
第?2?章? 智能網絡目標識別基礎 …………………………………………………… 30
2.1 深度學習技術原理 …………………………………………………………… 31
2.2 神經網絡 ……………………………………………………………………… 34
2.2.1 感知機 ………………………………………………………………… 34
2.2.2 前饋神經網絡 ………………………………………………………… 36
2.2.3 反向傳播算法 ………………………………………………………… 38
2.3 深度學習算法、模型與優(yōu)化 ………………………………………………… 41
2.3.1 深度學習算法的組成 ………………………………………………… 41
2.3.2 深度模型的核心部件 ………………………………………………… 43
2.3.3 代表性的網絡模型 …………………………………………………… 48
2.3.4 深度模型的優(yōu)化算法 ………………………………………………… 58
2.4 典型智能網絡目標識別算法 ………………………………………………… 62
2.4.1 Faster R-CNN ………………………………………………………… 62
2.4.2 YOLO ………………………………………………………………… 66
2.4.3 FPN …………………………………………………………………… 69
2.4.4 CenterNet ……………………………………………………………… 70
2.4.5 DETR ………………………………………………………………… 73
2.5 總結 …………………………………………………………………………… 76
參考文獻 …………………………………………………………………………… 76
第?3?章? 新型注意力機制深度目標識別方法 …………………………………… 79
3.1 概述 …………………………………………………………………………… 80
3.2 引入反饋機制的特征優(yōu)化檢測器 …………………………………………… 83
3.2.1 IFF 模塊 ……………………………………………………………… 83
3.2.2 穩(wěn)定性證明 …………………………………………………………… 87
3.2.3 實驗結果 ……………………………………………………………… 90
3.3 雙分辨率骨干網絡目標識別方法 …………………………………………… 95
3.3.1 網絡總體結構 ………………………………………………………… 95
3.3.2 尺度內傳播模塊 ……………………………………………………… 97
3.3.3 尺度間對齊模塊 ……………………………………………………… 98
3.3.4 雙分辨率特征金字塔網絡 DS-FPN ………………………………… 99
3.3.5 實驗結果 ……………………………………………………………… 100
3.4 總結 …………………………………………………………………………… 105
參考文獻 …………………………………………………………………………… 106
第?4?章? 可控視覺表征目標識別方法 ……………………………………………… 110
4.1 混合高斯不確定性有界理論 ………………………………………………… 111
4.2 基于 Gabor 的魯棒特征提取與模型泛化能力提升 ………………………… 113
4.3 GCN …………………………………………………………………………… 116
4.3.1 GCN 前向傳播 ………………………………………………………… 116
4.3.2 GCN 反向傳播 ………………………………………………………… 118
4.4 GCN 實驗驗證與分析 ………………………………………………………… 119
4.4.1 手寫體字符識別 ……………………………………………………… 119
4.4.2 街景數字識別 ………………………………………………………… 123
4.4.3 自然圖像分類 ………………………………………………………… 124
4.4.4 大尺度圖像分類 ……………………………………………………… 127
4.5 總結 …………………………………………………………………………… 129
參考文獻 …………………………………………………………………………… 129
第?5?章? 知識內嵌智能目標識別方法 ……………………………………………… 132
5.1 深度模型中的知識內嵌方法概述 …………………………………………… 133
5.2 引入介尺度注意力的知識內嵌視覺模型 …………………………………… 136
5.2.1 多模態(tài) CLIP 算法 …………………………………………………… 136
5.2.2 知識內嵌模型 ………………………………………………………… 139
5.2.3 仿真實驗 ……………………………………………………………… 143
5.3 屬性增強知識內嵌視覺模型 ………………………………………………… 145
5.3.1 視覺屬性詞表的引入 ………………………………………………… 146
5.3.2 專家知識提示工程 …………………………………………………… 147
5.3.3 基于交叉注意力機制的視覺屬性詞表對齊 ………………………… 149
5.3.4 仿真實驗 ……………………………………………………………… 151
5.4 總結 …………………………………………………………………………… 152
參考文獻 …………………………………………………………………………… 153
第?6?章? 可解釋性目標識別方法 …………………………………………………… 155
6.1 可解釋性方法綜述 …………………………………………………………… 156
6.2 基于誤差分數機制的可解釋性目標識別方法 ……………………………… 158
6.2.1 誤差分數機制 ………………………………………………………… 158
6.2.2 可解釋性方法實驗結果 ……………………………………………… 160
6.2.3 模型性能極限研究 …………………………………………………… 162
6.3 基于因果約束的可解釋性目標識別方法 …………………………………… 166
6.3.1 基于因果推斷的特征重加權算法 …………………………………… 166
6.3.2 實驗結果 ……………………………………………………………… 170
6.4 基于語義分析的細粒度可解釋性目標識別方法 …………………………… 174
6.4.1 語義特征分析算法 …………………………………………………… 174
6.4.2 基于語義特征提取的可解釋性深度學習算法設計與分析 ………… 179
6.4.3 語義特征提取算法有效性分析 ……………………………………… 181
6.5 總結 …………………………………………………………………………… 183
參考文獻 …………………………………………………………………………… 183
第?7?章? 深度模型壓縮技術 ………………………………………………………… 186
7.1 深度模型壓縮技術概述 ……………………………………………………… 187
7.1.1 模型稀疏化 …………………………………………………………… 187
7.1.2 模型量化 ……………………………………………………………… 189
7.1.3 低秩分解 ……………………………………………………………… 191
7.1.4 知識蒸餾 ……………………………………………………………… 193
7.1.5 神經網絡架構搜索 …………………………………………………… 194
7.1.6 緊致化結構設計 ……………………………………………………… 198
7.1.7 深度模型壓縮技術的選擇 …………………………………………… 199
7.2 引入生成對抗的最優(yōu)結構化剪枝方法 ……………………………………… 200
7.2.1 預備知識 ……………………………………………………………… 202
7.2.2 公式建立 ……………………………………………………………… 202
7.2.3 優(yōu)化求解 ……………………………………………………………… 203
7.2.4 結構選擇 ……………………………………………………………… 205
7.2.5 實驗結果 ……………………………………………………………… 206
7.3 閉式低秩分解和知識遷移的全局 CNN 壓縮方法 ………………………… 211
7.3.1 全局閉式低秩分解與知識遷移 ……………………………………… 212
7.3.2 實驗結果 ……………………………………………………………… 220
7.4 總結 …………………………………………………………………………… 228
參考文獻 …………………………………………………………………………… 228