目錄
第一部分基礎(chǔ)篇
第1 章概述2
1.1 為什么機(jī)器學(xué)習(xí)模型需要數(shù)字水印. .3
1.2 如何將數(shù)字水印應(yīng)用于機(jī)器學(xué)習(xí)模型. 4
1.2.1 技術(shù). .4
1.2.2 協(xié)議. .5
1.2.3 應(yīng)用. .5
1.3 相關(guān)研究工作6
1.3.1 白盒方法. .6
1.3.2 黑盒方法. .6
1.3.3 DNN 指紋方法.7
第2 章DNN 水印的所有權(quán)驗(yàn)證協(xié)議8
2.1 引言. 9
2.2 安全性形式化. 11
2.2.1 功能保留11
2.2.2 準(zhǔn)確性和無歧義性12
2.2.3 持久性13
2.2.4 其他安全要求14
2.3 DNN 的所有權(quán)驗(yàn)證協(xié)議. 15
2.3.1 抵制攻擊及相應(yīng)的安全性16
2.3.2 覆寫攻擊及相應(yīng)的安全性17
2.3.3 證據(jù)暴露及相應(yīng)的安全性19
2.3.4 OV 協(xié)議的邏輯視角. 21
2.3.5 高級協(xié)議的備注23
2.4 小結(jié)24
第二部分技術(shù)篇
第3 章用于圖像恢復(fù)的DNN 的模型水印26
3.1 引言27
3.2 相關(guān)研究工作. 28
3.2.1 白盒方法28
3.2.2 黑盒方法28
3.3 問題定義. 29
3.3.1 符號和定義29
3.3.2 圖像恢復(fù)DNN 模型水印的原則.29
3.3.3 針對模型水印的模型導(dǎo)向攻擊30
3.4 提出的方法. 30
3.4.1 主要思路和框架30
3.4.2 觸發(fā)器密鑰生成32
3.4.3 水印生成32
3.4.4 水印嵌入33
3.4.5 水印驗(yàn)證34
3.4.6 輔助知識產(chǎn)權(quán)可視化器34
3.5 小結(jié)36
第4 章穩(wěn)健和無害的模型水印37
4.1 引言38
4.2 相關(guān)研究工作. 38
4.2.1 模型竊取38
4.2.2 針對模型竊取的防御39
4.3 重審現(xiàn)有的模型所有權(quán)驗(yàn)證. 40
4.3.1 數(shù)據(jù)集推理的局限性40
4.3.2 基于后門的模型水印的局限性41
4.4 在集中式訓(xùn)練下提出的方法. 41
4.4.1 威脅模型和方法流程41
4.4.2 使用嵌入外部特征的模型水印42
4.4.3 訓(xùn)練所有權(quán)元分類器43
4.4.4 基于假設(shè)檢驗(yàn)的模型所有權(quán)驗(yàn)證43
4.5 在聯(lián)邦學(xué)習(xí)中的應(yīng)用43
4.5.1 問題闡述和威脅模型44
4.5.2 提出的方法44
4.6 實(shí)驗(yàn)44
4.6.1 實(shí)驗(yàn)設(shè)置44
4.6.2 在集中式訓(xùn)練下的主要結(jié)果45
4.6.3 在聯(lián)邦學(xué)習(xí)環(huán)境下的主要結(jié)果47
4.6.4 關(guān)鍵超參數(shù)的影響47
4.6.5 消融研究48
4.7 小結(jié)50
第5 章通過分類邊界指紋識別保護(hù)機(jī)器學(xué)習(xí)模型的知識產(chǎn)權(quán)51
5.1 引言52
5.2 相關(guān)研究工作. 54
5.2.1 用于知識產(chǎn)權(quán)保護(hù)的水印技術(shù)54
5.2.2 分類邊界54
5.3 問題的提出. 55
5.3.1 威脅模型55
5.3.2 對目標(biāo)模型的指紋識別56
5.3.3 設(shè)計(jì)目標(biāo)56
5.3.4 穩(wěn)健性和唯一性的權(quán)衡57
5.4 IPGuard 的設(shè)計(jì). 58
5.4.1 概覽.58
5.4.2 將尋找指紋數(shù)據(jù)點(diǎn)定義為一個(gè)優(yōu)化問題59
5.4.3 初始化和標(biāo)簽選擇60
5.5 討論61
5.5.1 與對抗樣本的聯(lián)系61
5.5.2 對知識蒸餾的穩(wěn)健性62
5.5.3 攻擊者端檢測指紋數(shù)據(jù)點(diǎn)62
5.6 小結(jié)63
第6 章通過模型水印保護(hù)圖像處理網(wǎng)絡(luò)64
6.1 引言65
6.2 準(zhǔn)備工作. 66
6.2.1 威脅模型66
6.2.2 問題形式化67
6.3 提出的方法. 68
6.3.1 動機(jī).68
6.3.2 傳統(tǒng)水印算法69
6.3.3 深度不可見水印技術(shù)70
6.4 實(shí)驗(yàn)74
6.4.1 實(shí)驗(yàn)設(shè)置74
6.4.2 保真度和容量75
6.4.3 對模型提取攻擊的穩(wěn)健性76
6.4.4 消融實(shí)驗(yàn)77
6.4.5 擴(kuò)展.79
6.5 討論81
6.6 小結(jié)82
第7 章深度強(qiáng)化學(xué)習(xí)水印83
7.1 引言84
7.2 背景85
7.2.1 馬爾可夫決策過程85
7.2.2 強(qiáng)化學(xué)習(xí)86
7.2.3 深度強(qiáng)化學(xué)習(xí)87
7.3 相關(guān)研究工作. 88
7.3.1 有監(jiān)督深度學(xué)習(xí)模型的水印88
7.3.2 深度強(qiáng)化學(xué)習(xí)模型的水印89
7.4 問題的形式化. 89
7.4.1 威脅模型89
7.4.2 深度強(qiáng)化學(xué)習(xí)的時(shí)序水印90
7.5 提出的方法. 94
7.5.1 水印候選項(xiàng)生成95
7.5.2 水印嵌入96
7.5.3 所有權(quán)驗(yàn)證97
7.6 討論. 100
7.7 小結(jié). 101
第8 章圖像描述模型的所有權(quán)保護(hù)102
8.1 引言. 103
8.2 相關(guān)研究工作103
8.2.1 圖像描述中的數(shù)字水印. 103
8.2.2 DNN 模型中的數(shù)字水印104
8.3 問題的形式化105
8.3.1 圖像描述模型. 105
8.3.2 命題2 的證明. 106
8.3.3 圖像描述模型的知識產(chǎn)權(quán)保護(hù). 108
8.4 提出的方法108
8.4.1 密鑰生成過程. 109
8.4.2 嵌入過程. 109
8.4.3 驗(yàn)證過程. 111
8.5 實(shí)驗(yàn)設(shè)置112
8.5.1 指標(biāo)和數(shù)據(jù)集. 112
8.5.2 配置. 112
8.5.3 比較方法. 112
8.6 討論. 113
8.6.1 與當(dāng)前數(shù)字水印框架技術(shù)的對比. 113
8.6.2 保真度評估. 113
8.6.3 抵抗歧義攻擊的韌性. 116
8.6.4 抵抗移除攻擊的穩(wěn)健性. 117
8.6.5 局限性. 117
8.7 小結(jié). 118
第9 章使用嵌入密鑰保護(hù)RNN 119
9.1 引言. 120
9.2 相關(guān)研究工作120
9.3 問題表述121
9.3.1 概述. 121
9.3.2 保護(hù)框架設(shè)計(jì). 121
9.3.3 貢獻(xiàn). 121
9.3.4 模型水印和所有權(quán)驗(yàn)證協(xié)議. 122
9.4 提出的方法123
9.4.1 密鑰門. 124
9.4.2 生成密鑰的方法. 124
9.4.3 作為簽名的密鑰輸出符號. 125
9.4.4 使用密鑰進(jìn)行所有權(quán)驗(yàn)證. 126
9.5 實(shí)驗(yàn). 128
9.5.1 學(xué)習(xí)任務(wù). 128
9.5.2 超參數(shù). 129
9.6 討論. 129
9.6.1 保真度. 129
9.6.2 對抗移除攻擊的穩(wěn)健性. 132
9.6.3 對抗模糊攻擊的韌性. 134
9.6.4 保密性. 136
9.6.5 時(shí)間復(fù)雜度. 137
9.6.6 密鑰門激活. 137
9.7 小結(jié). 137

第三部分應(yīng)用篇
第10 章FedIPR：聯(lián)邦DNN 模型的所有權(quán)驗(yàn)證140
10.1 引言. .141
10.2 相關(guān)研究工作.142
10.2.1 安全聯(lián)邦學(xué)習(xí)142
10.2.2 subsection DNN 水印方法. 142
10.3 初步概念. 142
10.3.1 安全的橫向聯(lián)邦學(xué)習(xí)142
10.3.2 聯(lián)邦學(xué)習(xí)中的搭便車者142
10.3.3 DNN 水印方法. 143
10.4 提出的方法. 143
10.4.1 聯(lián)邦學(xué)習(xí)中的FedDNN 所有權(quán)驗(yàn)證定義. 144
10.4.2 挑戰(zhàn)1：FedDNN 中多個(gè)水印的容量145
10.4.3 挑戰(zhàn)2：安全聯(lián)邦學(xué)習(xí)中的水印穩(wěn)健性146
10.5 實(shí)現(xiàn)細(xì)節(jié). 147
10.6 實(shí)驗(yàn)結(jié)果. 149
10.6.1 保真度149
10.6.2 水印檢測率149
10.6.3 水印戰(zhàn)勝搭便車攻擊152
10.6.4 聯(lián)邦學(xué)習(xí)策略下的穩(wěn)健性152
10.7 小結(jié). .154
第11 章用于數(shù)據(jù)知識產(chǎn)權(quán)的模型審計(jì)155
11.1 引言. .156
11.2 相關(guān)研究工作.157
11.2.1 成員推斷攻擊157
11.2.2 模型決策邊界157
11.3 問題定義. 157
11.3.1 模型審計(jì)的屬性158
11.3.2 不同設(shè)置下的模型審計(jì)159
11.4 現(xiàn)有模型審核方法的調(diào)查. 159
11.4.1 決策邊界的距離近似160
11.4.2 數(shù)據(jù)所有權(quán)解決方案161
11.4.3 模型審計(jì)的威脅模型162
11.5 實(shí)驗(yàn)結(jié)果. 163
11.5.1 主要結(jié)果163
11.5.2 部分?jǐn)?shù)據(jù)使用情況164
11.5.3 不同的對抗設(shè)置164
11.6 小結(jié). .166
參考文獻(xiàn)167