目錄
從書序
序言
前言
第1章 緒論 1
1.1 經(jīng)典信息論概述 1
1.2 語義信息論發(fā)展歷史 2
1.3 本書的符號體系 5
1.4 本書的章節(jié)組織 5
1.5 本章小結(jié) 10
第2章 經(jīng)典信息論 11
2.1 通信系統(tǒng)的基本模型 11
2.2 語法信息的度量 12
2.2.1 信息熵 12
2.2.2 相對熵與互信息 18
2.2.3 信道容量與率失真函數(shù) 24
2.3 通信系統(tǒng)的優(yōu)化原則 27
2.4 無失真信源編碼定理 28
2.5 信道編碼定理 31
2.6 限失真信源編碼定理 36
2.7 信源信道編碼定理 38
2.8 香農(nóng)信道容量公式 39
2.9 經(jīng)典信息論的指導意義 40
2.10 本章小結(jié) 42
第3章 語義信息論早期探索 43
3.1 基于邏輯概率的語義信息理論 43
3.1.1 邏輯概率與語義熵 43
3.1.2 基于命題邏輯的語義編碼定理 46
3.2 基于模糊屬性的語義信息理論 48
3.2.1 廣義通信系統(tǒng)物理模型 49
3.2.2 廣義信源和廣義熵 49
3.2.3 全信息度量 53
3.3 Rényi熵與Rényi互信息 55
3.4 Kolmogorov復雜性 59
3.5 本章小結(jié) 62
第4章 語義信息度量 63
4.1 語義通信系統(tǒng)模型及設(shè)計準則 63
4.1.1 語義通信系統(tǒng)模型 63
4.1.2 語義通信系統(tǒng)的設(shè)計準則 65
4.2 語義信息的同義關(guān)系 66
4.2.1 信源信息的同義屬性 66
4.2.2 下游任務的同義屬性 69
4.2.3 同義映射 70
4.2.4 一詞多義與含義模糊的處理 71
4.2.5 語義信息的本質(zhì)理解 73
4.3 語義變量 75
4.3.1 語義變量定義 75
4.3.2 語義數(shù)字特征 77
4.4 語義熵 82
4.4.1 語義熵定義 82
4.4.2 基本性質(zhì) 83
4.4.3 語義聯(lián)合熵與語義條件熵 86
4.5 語義信息散度與語義互信息 96
4.5.1 語義信息散度 96
4.5.2 上/下語義互信息 102
4.6 語義信道容量 110
4.7 語義率失真函數(shù) 112
4.7.1 語義率失真函數(shù)的定義與性質(zhì) 112
4.7.2 語義率失真函數(shù)的參量表達式 113
4.8 本章小結(jié) 119
第5章 語義無失真信源編碼定理 121
5.1 語義漸近等分割與語義典型序列 121
5.1.1 語義弱典型序列 123
5.1.2 語義強典型序列 130
5.1.3 語義與語法典型序列的比較 140
5.2 正定理證明 142
5.3 逆定理證明 145
5.4 變長語義無失真信源編碼定理 148
5.4.1 語義Kraft不等式 148
5.4.2 最優(yōu)語義信源碼長 148
5.5 語義Huffman編碼 149
5.5.1 語義Huffman樹 150
5.5.2 語義Huffman編碼與譯碼 152
5.5.3 語義Huffman編碼在文本壓縮中的應用 152
5.6 語義算術(shù)編碼 154
5.6.1 編解碼流程 155
5.6.2 理論極限分析 158
5.6.3 性能驗證 158
5.7 本章小結(jié) 160
第6章 語義信道編碼定理 161
6.1 語義聯(lián)合漸近等分割 161
6.1.1 弱聯(lián)合典型序列 161
6.1.2 弱條件典型序列 168
6.1.3 強聯(lián)合典型序列 175
6.1.4 強條件典型序列 179
6.2 語義信道編碼定理 184
6.2.1 語義信道編碼模型 185
6.2.2 編碼定理證明思想 187
6.3 正定理證明 188
6.4 逆定理證明 192
6.5 語義信道編碼方法 194
6.6 無失真語義信源信道編碼定理 199
6.7 本章小結(jié) 200
第7章 語義限失真信源編碼定理 202
7.1 語義聯(lián)合漸近等分割 202
7.1.1 語義失真度量 202
7.1.2 弱聯(lián)合典型序列 203
7.1.3 強聯(lián)合典型序列 208
7.2 語義限失真編碼定理 209
7.2.1 語義限失真編碼模型 209
7.2.2 定理證明 210
7.3 基于弱典型序列的正定理證明 211
7.4 基于強典型序列的正定理證明 215
7.5 逆定理證明 217
7.6 限失真語義信源信道編碼定理 218
7.7 本章小結(jié) 221
第8章 連續(xù)消息的語義信息度量 222
8.1 連續(xù)信源的語義熵 222
8.1.1 連續(xù)條件下的同義映射 222
8.1.2 連續(xù)消息的語義熵 224
8.1.3 連續(xù)消息的語義聯(lián)合熵與語義條件熵 227
8.2 連續(xù)消息的語義信息散度與語義互信息 231
8.2.1 連續(xù)消息的語義信息散度 231
8.2.2 連續(xù)消息的上/下語義互信息 232
8.2.3 連續(xù)消息的語義信道容量 233
8.2.4 連續(xù)消息的語義率失真函數(shù) 233
8.3 連續(xù)消息的語義典型序列 234
8.3.1 語義典型序列與同義典型序列 234
8.3.2 語義聯(lián)合典型序列與聯(lián)合同義典型序列 237
8.4 高斯信道的語義容量 241
8.4.1 高斯語義信道容量 242
8.4.2 高斯信道語義編碼定理可達性證明 245
8.4.3 高斯信道語義編碼逆定理證明 247
8.4.4 限帶高斯信道的語義容量 249
8.5 高斯信源的語義率失真函數(shù) 252
8.6 本章小結(jié) 254
參考文獻 255
后記 259