2023-02-24 09:07:32
浏览数 (2)
本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:information-theory】,需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。
熵速率 (entropy rate)
定义:一个平稳的时域离散随机过程的熵速率 (entropy rate) 定义为
具有记忆性的信源的熵速率定义为
Example 两个二进制随机变量
和
, 其联合分布为 p(X=Y=0) = p( X=0, Y=1) = p( X=Y=1) = 1/3 。
计算
,
,
,
, and
。
Solution:
各类熵的关系
- 条件熵不大于信息熵
熵的不增原理:
- 联合熵不大于个信息熵的和,即
仅当各
相互独立时, 等号成立。
-
-