本書(shū)作為基于深度學(xué)習(xí)的自然語(yǔ)言處理基礎(chǔ)教程，介紹基于深度學(xué)習(xí)的自然語(yǔ)言處理領(lǐng)域的各種技術(shù)范式以及相關(guān)概念，構(gòu)建該領(lǐng)域的知識(shí)體系，幫助讀者對(duì)該領(lǐng)域知識(shí)有全面和系統(tǒng)的了解。全書(shū)共12章，分別介紹深度學(xué)習(xí)自然語(yǔ)言處理數(shù)據(jù)資源、常用的神經(jīng)網(wǎng)絡(luò)模型、語(yǔ)言模型的基本概念、注意力機(jī)制的基本概念、自然語(yǔ)言處理基本任務(wù)及建模方法、預(yù)訓(xùn)練語(yǔ)言模型，以及典型的自然語(yǔ)言處理核心任務(wù)模型。

更多科學(xué)出版社服務(wù)，請(qǐng)掃碼獲取。

1982.9~1986.7 太原理工大學(xué) 本科 學(xué)士 1994.9~2000.6 北京科技大學(xué) 碩士/博士1986.7~ 1994.8 太原理工大學(xué) 計(jì)算中心任教 助教 2000.7~2013 北京科技大學(xué) 自動(dòng)化系 副教授/教授，博導(dǎo) 2013~現(xiàn)在, 中國(guó)科學(xué)院信息工程研究所, 研究員控制科學(xué)與工程 人工智能方向作為通訊作者、第一作者發(fā)表論文60篇，其中SCI檢索30篇、EI檢索50篇；專(zhuān)利成果26個(gè)；發(fā)表學(xué)術(shù)著作2個(gè)無(wú)

目錄
前言
第1章 緒論 1
1.1 人工智能與自然語(yǔ)言處理 1
1.1.1 人工智能 1
1.1.2 自然語(yǔ)言處理 1
1.1.3 自然語(yǔ)言處理知識(shí)體系 2
1.2 自然語(yǔ)言處理任務(wù) 2
1.3 自然語(yǔ)言處理技術(shù) 3
1.3.1 自然語(yǔ)言處理學(xué)派 3
1.3.2 自然語(yǔ)言處理發(fā)展歷程及技術(shù)變遷 4
1.4 自然語(yǔ)言處理技術(shù)支撐理論及資源 6
1.5 本書(shū)知識(shí)體系 8
參考文獻(xiàn) 10
第2章 深度學(xué)習(xí)自然語(yǔ)言處理數(shù)據(jù)資源 11
2.1 任務(wù)數(shù)據(jù)資源 12
2.1.1 文本分類(lèi) 12
2.1.2 情感分析 12
2.1.3 機(jī)器翻譯 13
2.1.4 文本摘要 13
2.1.5 機(jī)器閱讀理解 14
2.1.6 問(wèn)答系統(tǒng) 14
2.2 預(yù)訓(xùn)練數(shù)據(jù)資源 15
2.2.1 網(wǎng)頁(yè)數(shù)據(jù) 15
2.2.2 書(shū)籍 16
2.2.3 學(xué)術(shù)資料 17
2.2.4 維基百科 17
2.2.5 代碼 18
2.3 預(yù)訓(xùn)練微調(diào)數(shù)據(jù)資源 18
2.3.1 指令微調(diào)數(shù)據(jù)集 18
2.3.2 人類(lèi)價(jià)值觀對(duì)齊數(shù)據(jù)集 19
2.4 其他資源 20
2.5 本章小結(jié) 21
參考文獻(xiàn) 21
第3章 深度學(xué)習(xí)基礎(chǔ)知識(shí) 25
3.1 神經(jīng)網(wǎng)絡(luò)基本概念 25
3.1.1 人工神經(jīng)網(wǎng)絡(luò) 25
3.1.2 神經(jīng)網(wǎng)絡(luò)基本特征 25
3.2 前饋神經(jīng)網(wǎng)絡(luò) 26
3.2.1 人工神經(jīng)元模型 26
3.2.2 激活函數(shù) 26
3.2.3 前饋神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 29
3.2.4 神經(jīng)網(wǎng)絡(luò)的梯度下降法 30
3.2.5 前饋神經(jīng)網(wǎng)絡(luò)的反向傳播算法 30
3.3 卷積神經(jīng)網(wǎng)絡(luò) 32
3.3.1 概述 32
3.3.2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 32
3.3.3 卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 34
3.3.4 卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用 34
3.4 循環(huán)神經(jīng)網(wǎng)絡(luò) 35
3.4.1 概述 35
3.4.2 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 35
3.4.3 循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練 36
3.4.4 梯度消失和爆炸 37
3.4.5 循環(huán)神經(jīng)網(wǎng)絡(luò)變體 38
3.4.6 循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用 39
3.5 本章小結(jié) 40
參考文獻(xiàn) 40
第4章 語(yǔ)言模型與詞向量 41
4.1 統(tǒng)計(jì)語(yǔ)言模型 41
4.1.1 語(yǔ)言模型基本概念 41
4.1.2 語(yǔ)言模型參數(shù)學(xué)習(xí) 43
4.1.3 參數(shù)的數(shù)據(jù)平滑 44
4.1.4 語(yǔ)言模型性能評(píng)估 45
4.1.5 語(yǔ)言模型應(yīng)用 46
4.1.6 語(yǔ)言模型變體擴(kuò)展 47
4.2 神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型 49
4.2.1 神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型概述 49
4.2.2 前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型 50
4.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型 52
4.2.4 循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型變體 54
4.3 淺層詞向量 56
4.3.1 詞表示概述 57
4.3.2 經(jīng)典詞向量表示模型 60
4.3.3 詞向量特征及應(yīng)用 67
4.4 本章小結(jié) 68
參考文獻(xiàn) 68
第5章 自然語(yǔ)言處理中的注意力機(jī)制 69
5.1 注意力機(jī)制概述 69
5.2 注意力模塊 70
5.2.1 注意力模塊結(jié)構(gòu) 70
5.2.2 模塊訓(xùn)練與評(píng)估 71
5.2.3 注意力模塊相關(guān)術(shù)語(yǔ) 71
5.3 傳統(tǒng)注意力模塊應(yīng)用 72
5.4 注意力編碼機(jī)制模塊應(yīng)用 73
5.4.1 單一向量編碼 74
5.4.2 不同序列間的編碼 75
5.4.3 同一序列間的編碼 76
5.5 本章小結(jié) 77
參考文獻(xiàn) 77
第6章 自然語(yǔ)言處理基本任務(wù) 78
6.1 文本分類(lèi) 78
6.1.1 文本分類(lèi)任務(wù)概述 78
6.1.2 神經(jīng)網(wǎng)絡(luò)文本分類(lèi)方法 78
6.1.3 文本分類(lèi)評(píng)估指標(biāo) 81
6.2 文本匹配 83
6.2.1 文本匹配任務(wù)概述 83
6.2.2 文本匹配方法 83
6.3 序列標(biāo)注 84
6.3.1 序列標(biāo)注任務(wù)概述 84
6.3.2 神經(jīng)網(wǎng)絡(luò)序列標(biāo)注方法 85
6.3.3 典型神經(jīng)網(wǎng)絡(luò)序列標(biāo)注模型 86
6.4 序列生成 88
6.4.1 序列生成任務(wù)定義 88
6.4.2 序列生成模型 88
6.4.3 生成式解碼模型 89
6.4.4 選擇式解碼模型 97
6.4.5 選擇-生成混合解碼模型 98
6.4.6 序列生成模型評(píng)估指標(biāo) 100
6.5 本章小結(jié) 101
參考文獻(xiàn) 101
第7章 預(yù)訓(xùn)練語(yǔ)言模型 102
7.1 預(yù)訓(xùn)練語(yǔ)言模型概述 102
7.1.1 預(yù)訓(xùn)練語(yǔ)言模型基本思想 102
7.1.2 預(yù)訓(xùn)練語(yǔ)言模型發(fā)展歷程 103
7.2 預(yù)訓(xùn)練語(yǔ)言模型+精調(diào)階段（第三范式） 104
7.2.1 編碼器結(jié)構(gòu)：BERT 104
7.2.2 解碼器結(jié)構(gòu)：GPT-1 106
7.2.3 編碼-解碼器結(jié)構(gòu)：BART 107
7.3 預(yù)訓(xùn)練語(yǔ)言模型+提示工程階段（第四范式） 108
7.3.1 提示學(xué)習(xí) 109
7.3.2 答案工程 110
7.3.3 提示微調(diào)策略 111
7.4 大語(yǔ)言模型+提示工程階段（第五范式） 111
7.4.1 第一代大語(yǔ)言模型：快回答 112
7.4.2 第二代大語(yǔ)言模型：慢思考 121
7.5 國(guó)產(chǎn)大語(yǔ)言模型杰出代表：DeepSeek-R1 127
7.5.1 DeepSeek-V系列語(yǔ)言模型 128
7.5.2 DeepSeek-R系列推理模型 129
7.6 本章小結(jié) 133
參考文獻(xiàn) 133
第8章 機(jī)器翻譯 136
8.1 深度學(xué)習(xí)機(jī)器翻譯概述 136
8.2 典型神經(jīng)機(jī)器翻譯模型 137
8.2.1 RNN編碼-解碼模型 137
8.2.2 基于注意力機(jī)制的RNN 編碼-解碼模型 137
8.2.3 谷歌神經(jīng)機(jī)器翻譯系統(tǒng) 138
8.2.4 卷積編碼-解碼模型 138
8.2.5 Transformer模型 139
8.3 神經(jīng)機(jī)器翻譯解碼策略改進(jìn) 140
8.3.1 推敲網(wǎng)絡(luò) 140
8.3.2 非自回歸機(jī)器翻譯模型 142
8.3.3 基于隱變量的非自回歸模型 142
8.4 神經(jīng)機(jī)器翻譯系統(tǒng)需要考慮的問(wèn)題 143
8.4.1 詞表受限問(wèn)題 144
8.4.2 翻譯覆蓋率問(wèn)題 144
8.4.3 系統(tǒng)魯棒性問(wèn)題 145
8.5 低資源神經(jīng)機(jī)器翻譯 146
8.5.1 少量雙語(yǔ)語(yǔ)料和大量單語(yǔ)語(yǔ)料 146
8.5.2 無(wú)雙語(yǔ)語(yǔ)料只有單語(yǔ)語(yǔ)料 147
8.6 多語(yǔ)言預(yù)訓(xùn)練語(yǔ)言模型 148
8.6.1 XLM 148
8.6.2 mBART 148
8.7 本章小結(jié) 149
參考文獻(xiàn) 149
第9章 情感分析 151
9.1 情感分析概述 151
9.2 情感極性分類(lèi) 152
9.2.1 任務(wù)定義 152
9.2.2 任務(wù)框架 152
9.2.3 技術(shù)路線 153
9.3 屬性情感分析 154
9.3.1 任務(wù)定義 154
9.3.2 技術(shù)路線 154
9.4 本章小結(jié) 157
參考文獻(xiàn) 157
第10章 信息抽取 159
10.1 信息抽取概述 159
10.1.1 基本概念 159
10.1.2 發(fā)展歷史 159
10.1.3 任務(wù)定義 160
10.2 命名實(shí)體識(shí)別 160
10.2.1 相關(guān)概念 160
10.2.2 簡(jiǎn)單命名實(shí)體識(shí)別 161
10.2.3 復(fù)雜命名實(shí)體識(shí)別 162
10.3 關(guān)系抽取 164
10.3.1 任務(wù)定義 164
10.3.2 主要方法 164
10.4 事件抽取 166
10.4.1 任務(wù)定義 167
10.4.2 任務(wù)實(shí)現(xiàn)步驟 167
10.4.3 任務(wù)實(shí)現(xiàn)方法 167
10.4.3 評(píng)估 171
10.5 本章小結(jié) 172
參考文獻(xiàn) 172
第11章 機(jī)器閱讀理解 173
11.1 機(jī)器閱讀理解概述 173
11.2 任務(wù)定義 174
11.3 神經(jīng)機(jī)器閱讀理解模型框架 174
11.4 神經(jīng)機(jī)器閱讀理解各類(lèi)任務(wù)及典型模型 176
11.4.1 完形填空式機(jī)器閱讀理解任務(wù) 176
11.4.2 多項(xiàng)選擇式機(jī)器閱讀理解任務(wù) 177
11.4.3 片段抽取式機(jī)器閱讀理解任務(wù) 178
11.4.4 自由生成式機(jī)器閱讀理解任務(wù) 180
11.5 機(jī)器閱讀理解的主要挑戰(zhàn)與開(kāi)放性問(wèn)題 182
11.5.1 機(jī)器閱讀理解的可解釋性 182
11.5.2 機(jī)器閱讀理解的魯棒性 182
11.5.3 機(jī)器閱讀理解的長(zhǎng)文章理解能力 182
11.5.4 機(jī)器閱讀理解的輸入文本受限 183
11.5.5 機(jī)器閱讀理解的推理能力 183
11.5.6 機(jī)器閱讀理解的已知知識(shí)利用 183
11.5.7 機(jī)器閱讀理解的自主利用無(wú)標(biāo)注資源 184
11.5.8 機(jī)器閱讀理解的遷移能力 184
11.6 本章小結(jié) 184
參考文獻(xiàn) 184
第12章 對(duì)話系統(tǒng) 187
12.1 對(duì)話系統(tǒng)概述 187
12.1.1 背景 187
12.1.2 對(duì)話系統(tǒng)的特點(diǎn)與分類(lèi) 187
12.2 開(kāi)放領(lǐng)域?qū)υ?187
12.2.1 基于檢索的開(kāi)放領(lǐng)域?qū)υ捪到y(tǒng) 188
12.2.2 基于生成的開(kāi)放領(lǐng)域?qū)υ捪到y(tǒng) 188
12.2.3 檢索-生成融合的開(kāi)放領(lǐng)域?qū)υ捪到y(tǒng) 189
12.2.4 開(kāi)放領(lǐng)域?qū)υ捪到y(tǒng)中的關(guān)鍵問(wèn)題 189
12.3 任務(wù)型對(duì)話 192
12.3.1 基于管道結(jié)構(gòu)的任務(wù)型對(duì)話系統(tǒng) 192
12.3.2 基于端到端的任務(wù)型對(duì)話系統(tǒng) 194
12.3.3 任務(wù)型對(duì)話系統(tǒng)發(fā)展趨勢(shì) 196
12.4 本章小結(jié) 197
參考文獻(xiàn) 197