2023-02-23 16:07:21
浏览数 (3)
本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。
文章目录
联合熵
联合集 XY 上, 对联合自信息
I(x y) 的平均值称为联合熵:
begin{array}{l} H(X Y)=underset{p(x y)}{E}[I(x rightleftharpoons y)] \ =-sum_{x} sum_{y} p(x y) log p(x y) end{array}
当有n个随机变量
X=left(X_{1}, X_{2}, ldots, X_{n}right) , 有
H(mathbf{X})=-sum_{X_{1}, X_{2}, ldots, X_{n}} pleft(x_{1}, x_{2}, ldots, x_{n}right) log pleft(x_{1}, x_{2}, ldots, x_{n}right)
信息熵与热熵的关系
信息熵的概念是借助于热熵的概念而产生的。
- 信息熵与热熵含义相似
- 信息熵与热熵的区别:
- 热熵的减少等于信息熵的增加。
条件熵
联合集 X Y mathbf{X Y}XY 上, 条件自信息I ( y / x ) I(y / x)I(y/x)的平均值定义为条件熵：
begin{array}{l} H(Y / X)=underset{p(x y)}{E}[I(y / x)]=-sum_{x} sum_{y} p(x y) log p(y / x) \ =sum_{x} p(x)left[-sum_{y} p(y / x) log p(y / x)right]=sum_{x} p(x) H(Y / x) end{array}
推广：
begin{array}{l} Hleft(X_{n} mid X_{1}, ldots, X_{n-1}right) =-sum_{X_{1}, X_{2}, ldots, X_{n}} pleft(x_{1}, x_{2}, ldots, x_{n}right) log pleft(x_{n} mid x_{1}, ldots, x_{n-1}right) end{array}
注意：当有n个随机变量
X=left(X_{1}, X_{2}, ldots, X_{n}right) 。
begin{array}{l} H(X, Y)=H(Y) H(X mid Y)=H(X) H(Y mid X) \ H(mathbf{X}) =Hleft(X_{1}right) Hleft(X_{2} mid X_{1}right) ldots Hleft(X_{n} mid X_{1}, X_{2}, ldots, X_{n-1}right) end{array}
注意：
mathbf{H}(mathbf{X} mid mathbf{Y}) 表示已知变量
mathbf{Y} 后, 对变量
mathbf{X} 尚存在的平均不确定性（存在疑义）。
已知信源
X=left[begin{array}{ccc}A & B & C \ 1 / 3 & 1 / 3 & 1 / 3end{array}right] 和
Y=left[begin{array}{ccc}D & E & F \ 1 / 10 & 3 / 5 & 3 / 10end{array}right] ,请快速两个信源的信息熵的关系。
答：H(X) > H(Y)。其实不用计算，由上面可知一个简单的结论，等概率时信息熵最大。
参考文献：
- Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- 周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
- 樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.
