语义信息论

作为通信与AI融合的代表性技术，近年来语义通信成为非常热门的前沿方向。本书阐述了语义信息理论，回答了语义通信的三个基本问题：什么是语义信息？语义信息如何度量？语义通信的极限与性能增益来源是什么？本书指出语义信息是语法信息的上级概念，同义性是语义信息的本质特征，由此构建了语义信息的度量体系，推导了语义通信的理论极限，证明了三个基本的语义编码定理。本书建立的语义信息论框架，是对经典信息论的兼容与发展，将成为语义通信优化设计的指导理论。

1. 有限码长下高可靠极化编码理论与方法, 中国电子学会科技奖自然科学一等奖， 2021年，排名第1。2. 中国电子学会优秀科技工作者, 2022年。3. 5G极化码高性能编译码技术, 中国科技产业化促进会科技奖卓越贡献奖,2020年，排名第1。

目录
从书序
序言
前言
第1章 绪论 1
1.1 经典信息论概述 1
1.2 语义信息论发展历史 2
1.3 本书的符号体系 5
1.4 本书的章节组织 5
1.5 本章小结 10
第2章 经典信息论 11
2.1 通信系统的基本模型 11
2.2 语法信息的度量 12
2.2.1 信息熵 12
2.2.2 相对熵与互信息 18
2.2.3 信道容量与率失真函数 24
2.3 通信系统的优化原则 27
2.4 无失真信源编码定理 28
2.5 信道编码定理 31
2.6 限失真信源编码定理 36
2.7 信源信道编码定理 38
2.8 香农信道容量公式 39
2.9 经典信息论的指导意义 40
2.10 本章小结 42
第3章 语义信息论早期探索 43
3.1 基于逻辑概率的语义信息理论 43
3.1.1 逻辑概率与语义熵 43
3.1.2 基于命题逻辑的语义编码定理 46
3.2 基于模糊属性的语义信息理论 48
3.2.1 广义通信系统物理模型 49
3.2.2 广义信源和广义熵 49
3.2.3 全信息度量 53
3.3 Rényi熵与Rényi互信息 55
3.4 Kolmogorov复杂性 59
3.5 本章小结 62
第4章 语义信息度量 63
4.1 语义通信系统模型及设计准则 63
4.1.1 语义通信系统模型 63
4.1.2 语义通信系统的设计准则 65
4.2 语义信息的同义关系 66
4.2.1 信源信息的同义属性 66
4.2.2 下游任务的同义属性 69
4.2.3 同义映射 70
4.2.4 一词多义与含义模糊的处理 71
4.2.5 语义信息的本质理解 73
4.3 语义变量 75
4.3.1 语义变量定义 75
4.3.2 语义数字特征 77
4.4 语义熵 82
4.4.1 语义熵定义 82
4.4.2 基本性质 83
4.4.3 语义联合熵与语义条件熵 86
4.5 语义信息散度与语义互信息 96
4.5.1 语义信息散度 96
4.5.2 上/下语义互信息 102
4.6 语义信道容量 110
4.7 语义率失真函数 112
4.7.1 语义率失真函数的定义与性质 112
4.7.2 语义率失真函数的参量表达式 113
4.8 本章小结 119
第5章 语义无失真信源编码定理 121
5.1 语义渐近等分割与语义典型序列 121
5.1.1 语义弱典型序列 123
5.1.2 语义强典型序列 130
5.1.3 语义与语法典型序列的比较 140
5.2 正定理证明 142
5.3 逆定理证明 145
5.4 变长语义无失真信源编码定理 148
5.4.1 语义Kraft不等式 148
5.4.2 最优语义信源码长 148
5.5 语义Huffman编码 149
5.5.1 语义Huffman树 150
5.5.2 语义Huffman编码与译码 152
5.5.3 语义Huffman编码在文本压缩中的应用 152
5.6 语义算术编码 154
5.6.1 编解码流程 155
5.6.2 理论极限分析 158
5.6.3 性能验证 158
5.7 本章小结 160
第6章 语义信道编码定理 161
6.1 语义联合渐近等分割 161
6.1.1 弱联合典型序列 161
6.1.2 弱条件典型序列 168
6.1.3 强联合典型序列 175
6.1.4 强条件典型序列 179
6.2 语义信道编码定理 184
6.2.1 语义信道编码模型 185
6.2.2 编码定理证明思想 187
6.3 正定理证明 188
6.4 逆定理证明 192
6.5 语义信道编码方法 194
6.6 无失真语义信源信道编码定理 199
6.7 本章小结 200
第7章 语义限失真信源编码定理 202
7.1 语义联合渐近等分割 202
7.1.1 语义失真度量 202
7.1.2 弱联合典型序列 203
7.1.3 强联合典型序列 208
7.2 语义限失真编码定理 209
7.2.1 语义限失真编码模型 209
7.2.2 定理证明 210
7.3 基于弱典型序列的正定理证明 211
7.4 基于强典型序列的正定理证明 215
7.5 逆定理证明 217
7.6 限失真语义信源信道编码定理 218
7.7 本章小结 221
第8章 连续消息的语义信息度量 222
8.1 连续信源的语义熵 222
8.1.1 连续条件下的同义映射 222
8.1.2 连续消息的语义熵 224
8.1.3 连续消息的语义联合熵与语义条件熵 227
8.2 连续消息的语义信息散度与语义互信息 231
8.2.1 连续消息的语义信息散度 231
8.2.2 连续消息的上/下语义互信息 232
8.2.3 连续消息的语义信道容量 233
8.2.4 连续消息的语义率失真函数 233
8.3 连续消息的语义典型序列 234
8.3.1 语义典型序列与同义典型序列 234
8.3.2 语义联合典型序列与联合同义典型序列 237
8.4 高斯信道的语义容量 241
8.4.1 高斯语义信道容量 242
8.4.2 高斯信道语义编码定理可达性证明 245
8.4.3 高斯信道语义编码逆定理证明 247
8.4.4 限带高斯信道的语义容量 249
8.5 高斯信源的语义率失真函数 252
8.6 本章小结 254
参考文献 255
后记 259