信息论学习笔记（一）

目录

• 第一章 绪论
• 1. 信息论简史
• 2. 信息的概念
• 2.1 几个术语的对比
• 2.1.1 知识
• 2.1.2 情报
• 2.1.3 消息
• 1. 定义
• 2. 消息具备的两个条件
• 3. 和信息的关系
• 2.1.4 信号
• 1. 定义
• 2. 和消息、信息的关系
• 2.2 通信系统模型
• 2.3 香农信息的概念
• 2.3.1 传输过程中的特点
• 2.3.2 香农信息的概念
• 2.3.3 优点
• 2.3.4 局限性
• 2.3.5 香农信息的度量
• 2.4 与信息测度相关的几个概念
• 2.5 理解信息的概念
• 2.3 信息的分类
• 3. 信息论研究的对象、目的和内容
• 3.1 通信系统模型
• 3.2 信息论研究的对象
• 3.3 信息论研究的目的
• 3.4 信息论研究的内容
• 1. 狭义信息论（信息论基础，香农信息论）
• 2. 一般信息论（通信理论）
• 3. 广义信息论
• 4. 信息论的发展简史与现状

本文首发于我的个人博客。

本章重点为信息的定义（不确定性）、信息学研究的对象（五个）和信息论研究的目的（三点）。

此外，掌握与信息测度相关的几个概念（样本空间、概率空间、先验概率、后验概率、自信息和互信息），明确本学科研究的重点（狭义信息论、语法信息）

第一章 绪论

---

1. 信息论简史

• 诞生：1948年，香农发表《通信的数学理论》
• 通信技术+概率测度+数理统计+随机过程
• 香农理论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码（效率）定理和信道编码（可靠性）定理。

2. 信息的概念

2.1 几个术语的对比

2.1.1 知识

有价值的信息。（是信息的子集）

2.1.2 情报

使人们对于某个特定对象所感而产生的知识。（是知识的子集）

2.1.3 消息

1. 定义

把客观物质运动和主观思维活动的状态用文字、符号、图像、数据、语言、音符、图像等能够被人们感觉器官感知的形式表达出来。

2. 消息具备的两个条件

• 能够被通信双方感知
• 可以传递

3. 和信息的关系

消息的内容是信息，因此可以说消息是信息的载体。

但是消息可以被感知，而信息是一种抽象的东西，不可以被具体感知。

2.1.4 信号

1. 定义

把消息变换成适合信道传输的物理量。

2. 和消息、信息的关系

信号是消息传达过程中用来表示消息的一个物理量，是承载信息的实体。信号是外壳，消息是内核。消息被人所感之后，在大脑中形成了信息。

2.2 通信系统模型

2.3 香农信息的概念

2.3.1 传输过程中的特点

• 收信者在接受到消息前不知道消息的具体内容
• 收信者在接收到消息前无法判断是描述哪种状态
• 收信者在接收到消息后，由于干扰的存在，无法判断正确性与可靠性

由于这些特点，香农总结出了信息的概念。

2.3.2 香农信息的概念

信息是事物运动状态或存在方式的不确定性的描述。

通信的结果就是消除或部分消除不确定性，从而获得信息。

通信系统形式上传输的是消息，实际上传输的是信息。

2.3.3 优点

• 有明确的数学模型和定量计算
• 与日常用语中的信息的含义一致
• 排除了对信息一词某些主观上的含义

2.3.4 局限性

• 假定事物状态可用以经典集合论为基础的概率模型来描述
• 没有考虑到收信者的主观特性和主观意义

2.3.5 香农信息的度量

不确定性的大小可以用概率来度量。

2.4 与信息测度相关的几个概念

• 样本空间

• 概率空间：样本空间及其概率测度[X,P]

• 先验概率：选择符号a_i作为消息的概率——P(a_i)

• 后验概率：接收端收到信息b_j后，而发送端发的是a_j的概率P(a_i/b_j)

• 自信息：a_i本身携带的信息量：

  ​ I(a_i) = log(1/P(a_i))

• 互信息：收信者获得的信息量——先验的不确定性减去尚存在的不确定性：

  ​ I(a_i;b_j) = I(a_i) - log(1/P(a_i/b_j))

2.5 理解信息的概念

信息具有以下特征：

• 可识别
• 载体可转换
• 可存贮
• 可传递
• 可加工（压缩、打包）
• 可共享

2.3 信息的分类

按照信息的性质分类：

• 语法信息：是“事物运动状态和状态改变方式”本身
• 语义信息：具体含义
• 语用信息：对观察者的效用

这门课只研究语法信息。

3. 信息论研究的对象、目的和内容

3.1 通信系统模型

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w1HQ5wuh-1582550397541)(https://pic.downk.cc/item/5e53c0256127cc07137b3da6.jpg)]

3.2 信息论研究的对象

1. 信源：产生信息的源头
2. 编码器：把消息变换成信号的措施
   • 信源编码：提高信息传输的效率
   • 信道编码：提高信息传输的可靠性
   • 加密编码：提高信息传输的安全性
3. 信道：通信系统把载荷信息的信号从甲地传输到乙地的媒介或通道
4. 译码器：把信道输出的编码信号（已叠加了干扰）进行反变换
5. 信宿：信息传输的对象，即接受消息的人或机器

3.3 信息论研究的目的

• 找到信息传输过程中的共同规律
• 提高信息传输的有效性、可靠性、保密性和认证性。
• 达到信息传输系统的最优化

对第二条当中的四“性”如何理解？

• 有效性：尽可能短的时间，尽可能少的设备，传输一定数量的信息
• 可靠性：尽可能准确地、不失真得再现于接收端
• 保密性：隐蔽和保护通信系统中传送的消息
• 认证性：接收者能够正确判断所接受信息的正确性，验证完整性

3.4 信息论研究的内容

1. 狭义信息论（信息论基础，香农信息论）

研究信息的测度、信道容量以及信源和信道编码理论等问题

2. 一般信息论（通信理论）

研究信息传输和处理问题

3. 广义信息论

包含上两方面，以及所有与信息有关的领域

4. 信息论的发展简史与现状

略