1. 内容
- 绪论
- 信息的统计度量
- 离散信源
- 离散信道及其容量
- 无失真信源编码
- 有噪信道编码
- 限失真信源编码
- 保密系统的基本信息理论
2. 信息
2.1 客观世界三大基本要素
- 物质——材料科学
- 能量——能源科学
- 信息——信息科学
2.2 信息、消息、信号
- 消息：是信息的载体和具体表现形式（比如文字、图片等），是信号的具体内容
- 信息：是消息中包含的有意义的内容
- 同一消息对不同的接收者来说，可以包含不同的信息；
- 同一信息，可以用不同形式的消息来载荷
- 信号：是消息的物理表现形式（比如声波、光波等）
2.3 信息的特性
- 信息是无形的
- 信息是可共享的
- 信息是无限的
时空上的可扩展：具有时效性；前后信息相连，会提供新信息
- 信息是可度量的
2.4 信息的概念
- 通俗概念：消息 = 信息
- 广义概念：信息是对物质存在和运动形式的一般描述；信息是认识主体（人、生物、机器）所感受的 事物运动状态和变换方式
- 狭义概念（概率信息）：信息是用来消除不确定性的东西
- 事件发生的概率越大，它提供的信息量就越小。
- 事件发生的概率越小，一旦该事件发生，它发生后提供的信 息量越大
3 通信
3.1 通信过程
- 通信的过程是传输消息，消息的传递过程具有不确定性
- 通信过程是一种消除上述不确定性的过程。不确定性一旦被消除，收信者就得到了信息
- 消息的传递过程是一个从不知到知的过程，或是从知之甚少到知之甚多的过程，或是从不确定到部分 确定或全部确定的过程
3.2 通信系统模型
信息论是通信的数学基础。
- 研究对象：通用通信系统
- 基本问题：在某一点精确或近似地恢复另一点发送的消息
- 信源：产生消息的源泉
- 信宿：信息的接受者
- 编码器：将消息变换成适合于信道传输的形式
- 信源编码：压缩
- 信道编码：纠错
- 保密编码：保证信息的安全性
- 调制：将消息变换成适合信道传输的信号形式（数模转换）
- 译码器：编码的逆变换
- 信道：将信号从发射端传到接受端的通道
- 干扰源（噪声源）：信道中的噪声
3.3 香农定理的提出
- 香农第一定理——为了无失真地传输信源信息， 信源编码的极限是什么？
- 香农第二定理——在有噪信道中无失真地通信， 信道编码的极限是多少？
- 香农第三定理——如果允许一定量的失真， 信源编码的极限是什么？
3.4 研究目的 & 研究目标
- 研究目的：找到信息传输过程的共同规律，提高信息传输的有效性、 可靠性、保密性和认证性，以达到信息传输系统的最优化。
- 有效性：用尽可能短的时间和尽可能少的设备来传送一定数量的信息。
- 可靠性：使信源发出的消息经过信道传输以后， 尽可能准确地、不失真地再现于接收端。
- 保密性：隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
- 认证性：接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
- 研究目标：以通用的通信系统为研究对象，找到信息传输过程的共同规律，以提高信息传输的有效性、可靠性、保密性和认证性
数字通信的三项基本技术： 数据压缩、数据纠错、数 据加密
4. 信息论
- 总的来说，信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中的一般规律的学科。
- 它的主要目的是提高信息系统的可靠性、有效性、保密性和认证性，以使达到系统最优化；
- 它的主要内容（或分支）包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论等。
4.1 狭义信息论（经典信息论） ：
主要研究信息的测度、信道容量、信源编码和信道编码等问题。这部分内容是信息论的基础理论，又称为香农信息论。
- 核心：在通信系统中，采用适当的编码后，能够实现高效率和高可靠地传输信息，并给出了信源编码定理和信道编码定理。
- 从数学观点看，这些定理是最优编码的存在定理。
- 但从工程的观点看，不能从定理的结果直接得到实现最优编码的具体途径。然而，它们给出了编码的性能极限
- 在理论上阐明了通信系统中各种因素之间的相互关系，为人们寻找最佳通信系统提供了重要的理论依据。
4.2 一般信息论（工程信息论）
主要研究信息传输和处理问题，除了香农理论外，还包括编码理论、噪声理论、信号滤波和预测、统计检测和估计理论、调制理论、信息处理理论、保密理论等。
4.3 广义信息论
是现代信息科学理论，它是一门新兴的综合性学科，不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、生物学、神经生理学、语言学、语义学等，甚至包括了社会、人文、经济等学科中有关信息的问题。
