目錄
《大數(shù)據(jù)與數(shù)據(jù)科學(xué)專著系列》序
前言
第1章 模型與數(shù)據(jù)雙驅(qū)動方法概述 1
1.1 引言 1
1.2 科學(xué)建模與計(jì)算問題 2
1.2.1 計(jì)算成像學(xué) 2
1.2.2 預(yù)測預(yù)報問題 4
1.2.3 科學(xué)計(jì)算問題 5
1.2.4 圖像處理與分析 6
1.3 模型驅(qū)動的科學(xué)建模與計(jì)算方法 7
1.3.1 方程建模方法 8
1.3.2 優(yōu)化建模方法 9
1.3.3 統(tǒng)計(jì)分布建模方法 9
1.3.4 信號處理與分析方法 10
1.4 數(shù)據(jù)驅(qū)動的機(jī)器學(xué)習(xí)建模與計(jì)算方法 11
1.4.1 傳統(tǒng)機(jī)器學(xué)習(xí)方法 12
1.4.2 深度學(xué)習(xí)方法 14
1.5 模型與數(shù)據(jù)雙驅(qū)動的科學(xué)建模與計(jì)算方法 20
1.5.1 模型與數(shù)據(jù)雙驅(qū)動的基本思路 20
1.5.2 模型與數(shù)據(jù)雙驅(qū)動的建模優(yōu)勢 22
1.5.3 典型領(lǐng)域中的模型與數(shù)據(jù)雙驅(qū)動建模方法 23
1.5.4 本書的組織結(jié)構(gòu) 24
第2章 優(yōu)化模型驅(qū)動的深度學(xué)習(xí)方法 27
2.1 引言 27
2.2 典型優(yōu)化模型與算法簡介 28
2.2.1 典型優(yōu)化模型 28
2.2.2 典型優(yōu)化算法 28
2.2.3 優(yōu)化方法與深度學(xué)習(xí)方法的結(jié)合 32
2.3 優(yōu)化模型驅(qū)動的深度學(xué)習(xí)模型設(shè)計(jì) 33
2.3.1 雙層優(yōu)化問題 33
2.3.2 基于學(xué)習(xí)的稀疏編碼模型求解 36
2.3.3 反問題建模與求解的模型驅(qū)動深度網(wǎng)絡(luò) 38
2.4 基于深度學(xué)習(xí)的優(yōu)化算法學(xué)習(xí)方法 47
2.4.1 基于深度學(xué)習(xí)的優(yōu)化方法 48
2.4.2 優(yōu)化模型驅(qū)動的優(yōu)化策略學(xué)習(xí) 51
2.5 總結(jié)與展望 57
第3章 統(tǒng)計(jì)模型驅(qū)動的深度學(xué)習(xí)方法 59
3.1 引言 59
3.1.1 統(tǒng)計(jì)學(xué)與統(tǒng)計(jì)機(jī)器學(xué)習(xí)的一些基本概念 59
3.1.2 統(tǒng)計(jì)與深度機(jī)器學(xué)習(xí) 60
3.2 基于變分自編碼的統(tǒng)計(jì)分布建模 62
3.2.1 變分推斷基本原理 62
3.2.2 變分自編碼模型與訓(xùn)練方法 63
3.2.3 變分自編碼的應(yīng)用 65
3.3 基于流模型的分布估計(jì)深度學(xué)習(xí)模型 66
3.3.1 基于可逆深度網(wǎng)絡(luò)的分布估計(jì) 66
3.3.2 基于連續(xù)流模型的分布估計(jì) 71
3.3.3 正規(guī)流模型的典型應(yīng)用 75
3.4 基于Wasserstein距離的生成對抗統(tǒng)計(jì)分布建模 79
3.4.1 Wasserstein距離簡介 79
3.4.2 Wasserstein距離導(dǎo)出生成對抗網(wǎng)絡(luò) 80
3.4.3 Wasserstein生成對抗網(wǎng)絡(luò)應(yīng)用 81
3.5 基于概率密度對數(shù)梯度估計(jì)的生成模型 83
3.5.1 打分模型基本原理 83
3.5.2 基于隨機(jī)微分方程的概率密度估計(jì)模型 86
3.5.3 去噪擴(kuò)散概率模型 87
3.5.4 隱擴(kuò)散去噪模型 92
3.5.5 基于擴(kuò)散模型的圖像重建和圖像恢復(fù) 94
3.6 總結(jié)與展望 96
第4章 幾何模型驅(qū)動的深度學(xué)習(xí)方法 100
4.1 引言 101
4.2 流形上的深度學(xué)習(xí) 103
4.2.1 流形的基本定義 103
4.2.2 流形上的一般深度學(xué)習(xí)框架 105
4.3 群等變深度神經(jīng)網(wǎng)絡(luò) 113
4.3.1 群等變深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 113
4.3.2 典型對稱群定義 116
4.3.3 群等變深度網(wǎng)絡(luò)的典型應(yīng)用 117
4.4 點(diǎn)云或圖上等變神經(jīng)網(wǎng)絡(luò) 118
4.4.1 基于向量神經(jīng)元的等變神經(jīng)網(wǎng)絡(luò) 118
4.4.2 基于標(biāo)架平均的等變神經(jīng)網(wǎng)絡(luò) 121
4.4.3 基于不可約表示的等變Transformer網(wǎng)絡(luò) 126
4.4.4 等變圖/點(diǎn)云深度網(wǎng)絡(luò)應(yīng)用 129
4.5 總結(jié)與展望 130
4.5.1 總結(jié) 130
4.5.2 展望 130
第5章 微分方程建模與求解的深度學(xué)習(xí)方法 133
5.1 引言 133
5.2 基于深度學(xué)習(xí)的微分方程建模 134
5.2.1 基于符號回歸的微分方程搜索 135
5.2.2 非線性動力系統(tǒng)的稀疏發(fā)現(xiàn) 137
5.2.3 微分方程的神經(jīng)網(wǎng)絡(luò)逼近學(xué)習(xí) 140
5.3 基于深度學(xué)習(xí)的微分方程求解 144
5.3.1 物理信息神經(jīng)網(wǎng)絡(luò)求解偏微分方程 144
5.3.2 神經(jīng)算子求解偏微分方程 146
5.4 基于學(xué)習(xí)的反問題建模與求解 153
5.4.1 伴隨方程方法 154
5.4.2 神經(jīng)網(wǎng)絡(luò)代理函數(shù)方法 156
5.4.3 其他的反問題求解方法 158
5.5 總結(jié)與展望 162
5.5.1 總結(jié) 162
5.5.2 展望：工業(yè)軟件設(shè)計(jì)中的高效、高精度算法 162
5.5.3 展望：天氣預(yù)測、疾病演化等大規(guī)模系統(tǒng)建模與計(jì)算 163
5.5.4 展望：更加通用的PDE建模與計(jì)算的人工智能基座模型 164
第6章 結(jié)語與展望 165
6.1 結(jié)語 165
6.2 展望 166
6.2.1 從模型-數(shù)據(jù)雙驅(qū)動到模型-數(shù)據(jù)-生成三驅(qū)動 166
6.2.2 深度學(xué)習(xí)中的更有效物理機(jī)制融入建模 167
6.2.3 面向科學(xué)建模與計(jì)算的人工智能底座大模型 168
6.2.4 AI for X中的大量建模與應(yīng)用問題 169
參考文獻(xiàn) 171
《大數(shù)據(jù)與數(shù)據(jù)科學(xué)專著系列》已出版書目 185