离散无记忆与有记忆信源的序列熵

本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。

文章目录

- - 离散无记忆信源的序列熵
  - - 信源的序列熵
  - 离散有记忆信源的序列熵
  - - 平稳有记忆N次扩展源的熵

离散无记忆信源的序列熵

马尔可夫信源的特点：无后效性。

发出单个符号的信源

指信源每次只发出一个符号代表一个消息;

发出符号序列的信源

指信源每次发出一组含二个以上符号的符号序列代表一个消息。

当信源无记忆时：

begin{aligned} p(bar{X}&left.=x_{i}right)=pleft(x_{i_{1}}, x_{i_{2}}, cdots, x_{i_{L}}right) =pleft(x_{i_{1}}right) pleft(x_{i_{2}}right) pleft(x_{i_{3}}right) cdots pleft(x_{i_{L}}right)=prod_{l=1}^{L} pleft(x_{i_{l}}right) end{aligned}

信源的序列熵

begin{aligned} H(bar{X}) &=-sum_{i=1}^{n^{L}} pleft(x_{i}right) log pleft(x_{i}right) \ &=-sum_{i} prod_{l=1}^{L} pleft(x_{i_{i}}right) log pleft(x_{i_{i}}right)=sum_{l=1}^{L} Hleft(X_{l}right) end{aligned}

若又满足平稳特性（平稳信号包含的信息量小，其统计特性随时间不变化）,即与序号l无关时:

p(overline{mathrm{X}})=prod_{l=1}^{L} pleft(x_{i_{mathrm{i}}}right)=p^{L}

信源的序列熵

H(overline{mathrm{X}})=operatorname{LH}(X)

平均每个符号(消息)熵(符号熵) 为

H_{L}(bar{X})=frac{1}{L} H(bar{X})=H(X)

例: 有一个无记忆信源随机变量

mathrm{X} in(0,1)

, 等概率分布, 若以单个符号出现为一事件, 则此时的信源熵:

H(X)=log _{2} 2=1

bit/符号即用 1 比特就可表示该事件。

如果以两个符号出现 (

mathrm{L}=2

的序列 )为一事件, 则随机序列

mathrm{X} in(00,01,10,11)

, 信源的序列熵

H(bar{X})=log _{2} 4=2

bit/序列

即用2比特才能表示该事件。

信源的符号熵

H_{2}(overline{mathrm{X}})=frac{1}{2} H(overline{mathrm{X}})=1

bit/符号

信源的序列熵

H(overline{mathrm{X}})=Hleft(X^{L}right)=-sum_{i=1}^{9} pleft(a_{i}right) log pleft(a_{i}right)=3 b i t / text { 序列 }

平均每个符号 (消息) 熵为

begin{array}{c} H(X)=-sum_{i=1}^{3} pleft(x_{i}right) log pleft(x_{i}right)=1.5 text { bit/符号 } \ H(bar{X})=2 H(X)=2 times 1.5=3 mathrm{bit} / text { 序列 } end{array}

离散有记忆信源的序列熵

对于有记忆信源,就不像无记忆信源那样简单, 它必须引入条件熵的概念, 而且只能在某些特殊情况下才能得到一些有价值的结论。
对于由两个符号组成的联合信源, 有下列结论:

Hleft(X_{1} X_{2}right)=Hleft(X_{1}right) Hleft(X_{2} mid X_{1}right)=Hleft(X_{2}right) Hleft(X_{1} mid X_{2}right)

Hleft(X_{1}right) geq Hleft(X_{1} mid X_{2}right), Hleft(X_{2}right) geq Hleft(X_{2} mid X_{1}right)

当前后符号无依存关系时,有下列推论:

begin{array}{l} Hleft(X_{1} X_{2}right)=Hleft(X_{1}right) Hleft(X_{2}right) \ Hleft(X_{1} mid X_{2}right)=Hleft(X_{1}right), Hleft(X_{2} mid X_{1}right)=Hleft(X_{2}right) end{array}

若信源输出一个L长序列,则信源的序列熵为

begin{aligned} H(overline{mathrm{X}}) &=Hleft(X_{1} X_{2} cdots X_{L}right) \ &=Hleft(X_{1}right) Hleft(X_{2} mid X_{1}right) cdots Hleft(X_{L} mid X_{L-1} cdots X_{1}right) \ &=sum_{l}^{L} Hleft(X_{l} mid X^{l-1}right)=Hleft(X^{L}right) end{aligned}

平均每个符号的熵为：

H_{L}(bar{X})=frac{1}{L} Hleft(X^{L}right)

若当信源退化为无记忆时: 若进一步又满足平稳性时

H(bar{X})=sum_{l}^{L} Hleft(X_{l}right) quad H(bar{X})=L H(X)

平稳有记忆N次扩展源的熵

设 X 为离散平稳有记忆信源, X 的 N 次扩展源记为 X^N，

X^{N}=left[X_{1} X_{2} cdots X_{N}right]

根据熵的可加性,得

Hleft(X^{N}right)=Hleft(X_{1} X_{2} cdots X_{N}right)=Hleft(X_{1}right) Hleft(X_{2} / X_{1}right) cdots Hleft(X_{N} / X_{1} cdots X_{N-1}right)

根据平稳性和熵的不增原理,得

Hleft(X^{N}right) leq N Hleft(X_{1}right)

, 仅当无记忆信源时等式成立。

对于 X的 N次扩展源, 定义平均符号熵为:

H_{N}(X)=frac{1}{N} Hleft(X^{N}right)=frac{1}{N} Hleft(X_{1} cdots X_{N}right)

信源的极限符号熵定义为：

H_{infty}(X)=lim _{N rightarrow infty} frac{1}{N} H(X^{N})=lim _{N rightarrow infty} frac{1}{N} H(X_{1} cdots X_{N})

极限符号熵简称符号熵, 也称熵率。

定理: 对任意离散平稳信源, 若

H_{1}(X)<infty

, 有:

(1)

Hleft(X_{N} / X_{1} cdots X_{N-1}right)

不随 N而增加; (2)

H_{N}(X) geq Hleft(X_{N} / X_{1} cdots X_{N-1}right) ;

(3)

H_{N}(X)

不随 N 而增加; (4)

H_{infty}(X)

存在,且

H_{infty}(X)=lim _{N rightarrow infty} H(X_{N} / X_{1} cdots X_{N-1})

该式表明, 有记忆信源的符号熵也可通过计算极限条件熵得到。

参考文献：

Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.

markdown bit jersey

0 人点赞