一句话三者关系
信息熵完美编码，交叉熵不完美编码，相对熵是两者的差值。即：相对熵 = 交叉熵 - 信息熵。
什么是KL散度
- KL散度的概念来源于概率论和信息论中。
- KL散度又被称为：相对熵、互熵、鉴别信息、Kullback熵、Kullback-Leible散度(即KL散度的简写)。
如何理解KL散度
- 在统计学意义上来说，KL散度可以用来衡量两个分布之间的差异程度。若两者差异越小，KL散度越小，反之亦反。当两分布一致时，其KL散度为0。
- KL散度在信息论中的专业术语为相对熵。其可理解为编码系统对信息进行编码时所需要的平均附加信息量。
KL散度的应用
- 正是因为其可以衡量两个分布之间的差异，在机器学习、深度学习领域中，KL散度被广泛运用于变分自编码器中(Variational AutoEncoder, 简称VAE)、EM算法(Expectation-Maximization Algorithm)、GAN网络中。
