本書基于Python與Pytorch對人工智能算法基礎(chǔ)知識與實戰(zhàn)應用進行了介紹,主要包含兩部分內(nèi)容。第一部分為人工智能算法知識的相關(guān)理論介紹,主要包含:人工智能的線性代數(shù)基礎(chǔ)、概率統(tǒng)計基礎(chǔ)、數(shù)據(jù)分析基礎(chǔ)、機器學習基礎(chǔ)以及深度學習基礎(chǔ)。對機器學習中的回歸、聚類以及分類等經(jīng)典算法進行了介紹。對深度學習中的卷積、循環(huán)、Transformer等深度學習網(wǎng)絡在計算機視覺與自然語言中的應用,以及大模型與微調(diào)相關(guān)的內(nèi)容進行了介紹。第二部分為基于Python與Pythoch的人工智能算法實戰(zhàn)案例應用,主要介紹:數(shù)據(jù)的預測回歸分析案例;數(shù)據(jù)無監(jiān)督學習中的聚類、降維以及關(guān)聯(lián)規(guī)則案例;數(shù)據(jù)有監(jiān)督分類模型的應用案例,以及深度學習中圖像分類、圖像語義分割、圖像遷移學習、自然語言聚類與分類等經(jīng)典算法的實戰(zhàn)案例。
本書為讀者提供了Notebook形式的源程序和使用的數(shù)據(jù)集,方便讀者邊學邊實踐。本書適合數(shù)據(jù)分析、機器學習、人工智能以及大數(shù)據(jù)領(lǐng)域的工程師學習,也可用作高等院校相關(guān)專業(yè)的教材及參考書。
第1章 人工智能簡介 001
1.1 什么是人工智能 002
1.2 人工智能簡史 003
1.3 人工智能應用 006
1.4 本章小結(jié) 007
第2章 人工智能基礎(chǔ) 009
2.1 線性代數(shù)基礎(chǔ) 010
2.1.1 向量的定義 010
2.1.2 向量運算 010
2.1.3 矩陣的定義 012
2.1.4 矩陣基本運算 013
2.1.5 矩陣特征值與特征向量 015
2.2 概率統(tǒng)計基礎(chǔ) 016
2.2.1 隨機事件及其概率 016
2.2.2 條件概率 018
2.2.3 獨立性 018
2.2.4 隨機變量 019
2.2.5 邊緣分布 024
2.2.6 大數(shù)定律 024
2.3 數(shù)據(jù)分析基礎(chǔ) 025
2.3.1 假設(shè)檢驗 025
2.3.2 方差分析 027
2.3.3 相關(guān)分析 030
2.4 機器學習基礎(chǔ) 031
2.4.1 機器學習分類 032
2.4.2 機器學習性能度量 034
2.4.3 模型過擬合與欠擬合 036
2.5 深度學習基礎(chǔ) 037
2.5.1 深度學習發(fā)展過程 038
2.5.2 深度學習任務 040
2.6 本章小結(jié) 042
第3章 回歸分析 043
3.1 線性回歸 045
3.1.1 一元線性回歸 045
3.1.2 多元線性回歸 047
3.1.3 回歸診斷 050
3.2 正則化回歸 051
3.2.1 Ridge回歸 051
3.2.2 Lasso回歸 051
3.2.3 彈性網(wǎng)回歸 052
3.3 邏輯回歸 053
3.4 時間序列回歸 054
3.4.1 白噪聲檢驗與平穩(wěn)檢驗 054
3.4.2 自相關(guān)與偏自相關(guān) 057
3.4.3 ARMA模型 058
3.4.4 ARIMA模型 059
3.4.5 SARIMA模型 060
3.4.6 Prophet算法 061
3.5 本章小結(jié) 062
第4章 無監(jiān)督學習 063
4.1 相似性度量 064
4.1.1 距離度量 064
4.1.2 分布度量 065
4.2 聚類分析 066
4.2.1 聚類的基本概念 066
4.2.2 k均值聚類 068
4.2.3 層次聚類 070
4.2.4 密度聚類 071
4.3 數(shù)據(jù)降維 073
4.3.1 主成分分析 073
4.3.2 局部線性嵌入(LLE) 075
4.3.3 t分布-隨機鄰近嵌入(t-SNE) 077
4.4 關(guān)聯(lián)規(guī)則 078
4.4.1 關(guān)聯(lián)規(guī)則基本概念 078
4.4.2 Apriori算法 079
4.4.3 FP-Growth算法 081
4.5 稀疏表示與字典學習 084
4.6 本章小結(jié) 085
第5章 有監(jiān)督學習 087
5.1 決策樹 088
5.1.1 決策樹簡介 088
5.1.2 節(jié)點特征選擇 089
5.1.3 決策樹算法 090
5.1.4 決策樹剪枝 092
5.2 集成學習 093
5.2.1 集成學習模式與方法 093
5.2.2 隨機森林算法 094
5.2.3 AdaBoost算法 094
5.2.4 梯度提升樹算法 095
5.3 k近鄰 096
5.4 判別分析 097
5.4.1 線性判別分析 098
5.4.2 二次判別分析 099
5.5 貝葉斯分類 099
5.5.1 貝葉斯定理 099
5.5.2 樸素貝葉斯分類器 100
5.6 支持向量機 101
5.6.1 支持向量與最大間隔 102
5.6.2 線性支持向量機建模 102
5.6.3 非線性支持向量機與核方法 103
5.7 本章小結(jié) 104
第6章 深度學習 105
6.1 人工神經(jīng)網(wǎng)絡 106
6.1.1 感知機與全連接神經(jīng)網(wǎng)絡 106
6.1.2 梯度下降算法 107
6.2 卷積神經(jīng)網(wǎng)絡 110
6.2.1 卷積 110
6.2.2 池化 112
6.2.3 Dropout 112
6.2.4 LeNet-5網(wǎng)絡 113
6.2.5 AlexNet網(wǎng)絡 113
6.2.6 VGG網(wǎng)絡 114
6.2.7 GoogLeNet網(wǎng)絡 115
6.2.8 ResNet網(wǎng)絡 116
6.2.9 DenseNet網(wǎng)絡 118
6.2.10 MobileNet網(wǎng)絡 119
6.3 循環(huán)神經(jīng)網(wǎng)絡 121
6.3.1 RNN 122
6.3.2 LSTM網(wǎng)絡 123
6.3.3 GRU 124
6.4 自編碼器模型 125
6.4.1 自編碼器 125
6.4.2 變分自編碼器 126
6.4.3 生成擴散模型(diffusion models) 127
6.5 自注意力機制與Transformer 128
6.5.1 自注意力 128
6.5.2 交叉注意力 129
6.5.3 Transformer 130
6.6 生成對抗網(wǎng)絡 130
6.6.1 生成對抗網(wǎng)絡基本工作原理 131
6.6.2 條件生成對抗網(wǎng)絡(CGAN) 132
6.6.3 Wasserstein GAN(WGAN) 132
6.6.4 深度卷積生成對抗網(wǎng)絡(DCGAN) 133
6.6.5 循環(huán)生成對抗網(wǎng)絡(CycleGAN) 134
6.7 圖神經(jīng)網(wǎng)絡 135
6.7.1 圖卷積網(wǎng)絡 137
6.7.2 圖注意力網(wǎng)絡 139
6.7.3 圖自編碼網(wǎng)絡 141
6.7.4 時空圖神經(jīng)網(wǎng)絡 142
6.8 強化學習 143
6.8.1 Q-Learning 144
6.8.2 深度Q網(wǎng)絡(deep Q-networks) 145
6.8.3 Actor-Critic方法 147
6.9 本章小結(jié) 149
第7章 計算機視覺基礎(chǔ) 151
7.1 圖像分類 152
7.1.1 ViT 152
7.1.2 Swin Tramsformer 153
7.1.3 CLIP模型 155
7.1.4 MaxViT 156
7.2 目標檢測 158
7.2.1 R-CNN系列算法 158
7.2.2 YOLO系列算法 160
7.2.3 SSD系列算法 162
7.2.4 目標檢測評價指標 163
7.3 語義分割 164
7.3.1 FCN語義分割網(wǎng)絡 164
7.3.2 SegNet語義分割網(wǎng)絡 165
7.3.3 U-Net語義分割網(wǎng)絡 165
7.3.4 DeepLab系列語義分割網(wǎng)絡 166
7.3.5 Segment Anything Model(SAM) 167
7.3.6 語義分割評價指標 168
7.4 圖像風格遷移 169
7.4.1 固定風格固定內(nèi)容的風格遷移 169
7.4.2 固定風格任意內(nèi)容的快速風格遷移 169
7.4.3 圖像遷移學習分類 171
7.5 圖像去噪 174
7.5.1 基于卷積神經(jīng)網(wǎng)絡的去噪方法 174
7.5.2 基于生成對抗網(wǎng)絡的去噪方法 175
7.5.3 圖像去噪評價指標 176
7.6 本章小結(jié) 176
第8章 自然語言處理基礎(chǔ) 177
8.1 文本數(shù)據(jù)處理 178
8.1.1 字符串處理 179
8.1.2 中文分詞 179
8.1.3 詞頻統(tǒng)計與可視化 180
8.2 文本特征表示 181
8.2.1 N-gram與TF-IDF矩陣 181
8.2.2 詞嵌入 182
8.3 文本聚類 183
8.3.1 LDA主題模型 183
8.3.2 深度文本聚類算法 184
8.4 文本分類 185
8.4.1 FastText文本分類 185
8.4.2 TextCNN文本分類 186
8.4.3 TextRNN文本分類 186
8.4.4 TextRCNN文本分類 187
8.5 大模型 188
8.5.1 BERT 188
8.5.2 GPT 190
8.5.3 Meta LLaMA 192
8.5.4 GLM 193
8.5.5 大模型微調(diào) 195
8.6 多模態(tài)大模型 198
8.6.1 主流多模態(tài)大模型 198
8.6.2 多模態(tài)大模型架構(gòu) 201
8.6.3 多模態(tài)大模型未來趨勢 202
8.7 本章小結(jié) 203
第9章 實戰(zhàn)案例1:藥物活性預測回歸分析實戰(zhàn) 205
9.1 數(shù)據(jù)預處理與探索 207
9.1.1 自變量數(shù)據(jù)可視化探索 208
9.1.2 因變量數(shù)據(jù)可視化探索 210
9.2 數(shù)據(jù)特征選擇 213
9.3 線性回歸模型 216
9.3.1 逐步線性回歸預測 216
9.3.2 Lasso回歸模型預測 219
9.4 集成學習回歸模型 221
9.4.1 隨機森林回歸預測 221
9.4.2 提升樹回歸預測 223
9.5 支持向量機回歸 224
9.6 本章小結(jié) 226
第10章 實戰(zhàn)案例2:手寫數(shù)字降維與聚類實戰(zhàn) 227
10.1 數(shù)據(jù)準備 228
10.2 主成分分析降維 230
10.2.1 特征主成分分析 230
10.2.2 樣本主成分分析 232
10.3 t-SNE與LLE降維 233
10.3.1 t-SNE降維 233
10.3.2 LLE降維 234
10.4 k均值聚類 235
10.4.1 主成分特征k均值聚類 236
10.4.2 t-SNE特征k均值聚類 238
10.5 密度聚類 239
10.6 層次聚類 241
10.7 本章小結(jié) 244
第11章 實戰(zhàn)案例3:購物籃關(guān)聯(lián)規(guī)則挖掘?qū)崙?zhàn) 245
11.1 數(shù)據(jù)準備與探索 246
11.2 Apriori算法關(guān)聯(lián)規(guī)則分析 250
11.2.1 發(fā)現(xiàn)頻繁項集 250
11.2.2 關(guān)聯(lián)規(guī)則挖掘與分析 251
11.3 FP-Growth算法關(guān)聯(lián)規(guī)則分析 252
11.3.1 發(fā)現(xiàn)頻繁項集 252
11.3.2 關(guān)聯(lián)規(guī)則發(fā)現(xiàn)與分析 253
11.4 本章小結(jié) 256
第12章 實戰(zhàn)案例4:手寫數(shù)字分類實戰(zhàn) 257
12.1 k近鄰分類 260
12.2 基于決策樹算法分類 261
12.2.1 決策樹分類 261
12.2.2 隨機森林分類 264
12.3 支持向量機分類 266
12.3.1 線性SVM 266
12.3.2 非線性SVM 267
12.4 全連接網(wǎng)絡分類 267
12.5 邏輯回歸分類 268
12.6 本章小結(jié) 270
第13章 實戰(zhàn)案例5:深度學習圖像分類實戰(zhàn) 271
13.1 CIFAR10圖像數(shù)據(jù)準備與探索 272
13.2 LeNet-5實現(xiàn)CIFAR10圖像分類 277
13.2.1 LeNet-5網(wǎng)絡搭建 277
13.2.2 LeNet-5網(wǎng)絡訓練與測試 278
13.3 ResNet實現(xiàn)CIFAR10圖像分類 280
13.3.1 ResNet網(wǎng)絡搭建 280
13.3.2 ResNet-50網(wǎng)絡訓練與測試 283
13.4 ViT實現(xiàn)CIFAR10圖像分類 284
13.4.1 ViT網(wǎng)絡搭建 284
13.4.2 ViT網(wǎng)絡訓練與預測 287
13.5 預訓練網(wǎng)絡的CIFAR10圖像分類 289
13.6 基于LoRA微調(diào)的CIFAR10圖像分類 290
13.7 本章小結(jié) 292
第14章 實戰(zhàn)案例6:深度學習語義分割實戰(zhàn) 293
第15章 實戰(zhàn)案例7:深度圖像遷移學習實戰(zhàn) 295
第16章 實戰(zhàn)案例8:自然語言聚類與分類實戰(zhàn) 297
參考文獻 299