信息熵的定义及物理含义

本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。

信源符号自信息的数学期望为信源的平均信息量——信息熵

H(X)=Eleft(Ileft(X_{i}right)right)=-sum_{i=1}^{N} p_{i} log p_{i} quad bit/symbol

注意:

mathbf{H}(mathbf{X})

是一个数, 不是随机变量.

Example 请计算下述离散无记忆二进制信源的信息熵。

left(begin{array}{l} X \ p end{array}right)=left(begin{array}{cc} 0 & 1 \ p & 1-p end{array}right)

Solution

H(X)=-p log p-(1-p) log (1-p)

信息熵的物理含义

1.信息熵H(X)表示信源输出后，每个消息（符号）所提供的平均信息量;

2.信息熵H(X)表示信源输出前，信源的平均不确定性;

3.用信息熵H(X)来表征变量X的随机性。

注: 信息熵不等于平均获得的信息量(仅是能提供的信息量)。一般情况下获得的信息量是两熵之差，而不是信息熵本身（获得的还是需要根据实际计算）。

Example: 甲地天气预报，

left[begin{array}{c}X \ p(X)end{array}right]=left[begin{array}{cccc}text {晴} & text {阴} & text {雨} & text {雪}\ frac{1}{2} & frac{1}{2} & frac{1}{8} & frac{1}{8}end{array}right]

乙地天气预报

left[begin{array}{c}Y \ p(Y)end{array}right]=left[begin{array}{cc}text { 晴 } & text { 雨 } \ frac{7}{8} & frac{1}{8}end{array}right]

求：两地天气预报各自提供的平均信息量解:

mathrm{H}(mathrm{X})=-frac{1}{2} log frac{1}{2}-frac{1}{4} log frac{1}{4}-frac{1}{8} log frac{1}{8}-frac{1}{8} log frac{1}{8}=1.75 quad

比特/符号

mathrm{H}(mathrm{Y})=-frac{7}{8} log frac{7}{8}-frac{1}{8} log frac{1}{8}=0.544 quad

比特/符号

甲地提供的平均信息量大于乙地。

甲、乙地天气预报为两极端情况:

left[begin{array}{l} X \ p(x) end{array}right]=left[begin{array}{cccc} text { 晴 } & text { 阴 } & text { 雨 } & text { 雪 } \ 1 & 0 & 0 & 0 end{array}right] quadleft[begin{array}{l} mathrm{Y} \ mathrm{p}(mathrm{y}) end{array}right]=left[begin{array}{cc} text { 晴 } & text { 雨 } \ 1 & 0 end{array}right]

mathrm{H}(mathrm{X})=-1 log 1-0 log 0-0 log 0-0 log 0 = 0

比特/符号

mathrm{H}(mathrm{Y})=-1 log 1-0 log 0=0

比特/符号

lim varepsilon log varepsilon=0

信源是确定信源, 所以不存在不确定性, 信息熵等于零。

甲、乙地天气预报为两极端情况:

left[begin{array}{c}X \ p(x)end{array}right]=left[begin{array}{cccc}text { 晴 } & text { 阴 } & text { 雨 } & text { 雪 } \ 1 / 4 & 1 / 4 & 1 / 4 & 1 / 4end{array}right] quadleft[begin{array}{l}mathrm{Y} \ mathrm{p}(mathrm{y})end{array}right]=left[begin{array}{cc}text { 晴 } & text { 雨 } \ 1 / 2 & 1 / 2end{array}right]

mathrm{H}(mathrm{X})=-log frac{1}{4}=2

比特/符号

mathrm{H}(mathrm{Y})=-log frac{1}{2}=1

比特/符号

这种情况下,信源的不确定性最大,信息熵最大。
甲地比乙地提供更多的信息量。因为甲地可能出现的消息数多于て地可能出现的消息数, 不确定性更大。

结论: 由上可知，信源熵大于等于0（若信源输出为确定符号)而小于等于log(N)（信源输出的不确定性最大)。

0≤H(X)≤ log(N)

其中N为信源字符集元素的个数

Example 某信号带宽为4000Hz ，以奈奎斯特速率抽样。假设其抽样序列可以建模成一个字符集为A={-2,-1,0,1,2} 的DMS，相应的概率为{1/2,1/4,1/8,1/16,1/16},求信源的速率(b/s)

H(X)=frac{1}{2} log 2 frac{1}{4} log 4 frac{1}{8} log 8 2 times frac{1}{16} log 16 =frac{15}{8} quad mathrm{bit} / mathrm{symbol}

R_{b}=2 times 4000 times H(X)=15 K bit / mathrm{sec}

其中

R_{mathrm{b}}

为信息速率。注：奈奎斯特抽样速率为

2 mathbf{W}

。信息速率Rb=平均信息量H(X)×码元率B（波特率），单位为bit/s。

参考文献：

Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.

jersey

0 人点赞