解释“信息论”的实用方法答案

【问题标题】：Practical way of explaining "Information Theory"解释“信息论”的实用方法
【发布时间】：2010-02-21 16:51:03
【问题描述】：

信息论在编码和解码存在的地方发挥作用。例如：压缩（多媒体）、密码学。

在信息论中，我们遇到诸如“熵”、“自我信息”、“互信息”之类的术语，整个主题都基于这些术语。这听起来不过是抽象的。坦率地说，它们没有任何意义。

是否有任何书籍/材料/解释（如果可以）以实用的方式解释这些事情？

编辑：

An Introduction to Information Theory: symbols, signals & noise by John Robinson Pierce 是本书，它以我想要的方式（实际上）解释它。它太好了。我开始读了。

【问题讨论】：

您是在寻找流行的 sci 版本（也许是送给朋友），还是在认真研究开始时试图澄清一些困惑？
在认真研究开始时澄清一些困惑
这是一个很好的问题，当我试图理解信息论以便在编程中使用时，我永远无法从数学过渡到代码。用理解的例子在伪代码中编码这种东西的例子会很棒。解决方案是在数学上变得更好，但这并不总是可行的......

标签： encryption image-processing compression cryptography information-theory

【解决方案1】：

Shanon 的原始论文“A mathematical theory of communication”是研究这一理论的一个非常重要的资源。没有人应该错过它。

通过阅读它，您将了解 Shanon 是如何得出这个理论的，该理论应该可以消除大部分疑问。

同时研究霍夫曼压缩算法的工作原理也会很有帮助。

编辑：

信息论导论

约翰·R·皮尔斯

根据亚马逊评论看起来不错（我还没有尝试过）。

[通过谷歌搜索“信息论外行”]

【讨论】：

我正在研究这个，因为多媒体压缩让我着迷。但是信息“理论”的结果就是这个引人入胜的主题。这个香农哥们是这个让我厌烦到地狱的信息论的根本原因。
@claws haha.. 不过他也逃不掉：D。试一试他不会痛的。相信我，他是爱因斯坦！他的那篇论文比有关该主题的任何其他文本都包含更多的“信息”。（我喜欢你称呼 Shanon 老兄的方式！！；）
你可能有点纠结。一项严肃的研究必须最终处理数学并使用该领域的语言。也就是说，只是跳入数学并不适合所有人。
@dmckee +1 同意。我认为我们仍然需要为那些不想以某种方式做任何数学的人找到一种让信息论变得有趣的方法？！
其实因为Shannon的论文是该领域的开始，它可能是可读性最高的论文之一。

【解决方案2】：

我自己对“信息论”的看法是，它本质上只是应用数学/统计，但因为它被应用于通信/信号，所以被称为“信息论”。

开始理解这些概念的最佳方式是为自己设定一项真正的任务。例如，将您最喜欢的博客的几页保存为文本文件，然后尝试减小文件的大小，同时确保您仍然可以完全重建文件（即无损压缩）。例如，您将开始替换和的所有实例，例如用 1....

我一直认为边做边学是最好的方法

【讨论】：

【解决方案3】：

我本来打算将 Feynman 推荐用于流行科学，但经过思考，我认为这也可能是放松认真研究的好选择。如果没有数学，你就无法真正了解这些东西，但费曼是如此令人回味，以至于他在不惊吓马匹的情况下潜入数学。

Feynman Lectures on Computation http://ecx.images-amazon.com/images/I/51BKJV58A9L._SL500_AA240_.jpg

涵盖的内容不仅仅是信息论，而是好东西，读起来很愉快。（此外，我有义务参加物理队。Rah！Rah！Rhee！）

【讨论】：

@duffymo：关于计算的讲座不错，但他关于 QED 的流行科学小书令人难以置信。它接近完美。我曾经很佩服这个人，但在阅读了 QED 的书后，我陷入了一种接近英雄崇拜的状态。我所以想变得那么聪明。
是的，它们都很好。当然，您也会获得红皮书并阅读它们。 James Gleick 的“天才”是权威传记：amazon.com/Genius-Life-Science-Richard-Feynman/dp/0679747044/…
“我好想变得那么聪明。” - 我也是，兄弟。阅读费曼让我了解了他同时代人的感受：敬畏、钦佩和嫉妒。很棒的东西。

【解决方案4】：

我记得个人计算机世界中的文章介绍了用于识别硬币的 ID3 版本，尽管它使用了对数公式的启发式替代方案。我认为它最小化了平方和而不是最大化熵——但那是很久以前的事了。（我认为）Byte 中有另一篇文章使用对数公式来获取类似事物的信息（不是熵）。这样的事情给了我一个让理论更容易处理的句柄。

编辑 - “非熵”是指我认为它使用了信息值的加权平均值，但没有使用“熵”这个名称。

我认为从决策表构建简单的决策树是理解概率和信息之间关系的一种非常好的方法。它使从概率到信息的联系更加直观，并提供了加权平均的例子来说明平衡概率的熵最大化效应。非常好的一天一课。

还有一个好处是，您可以用 Huffman 解码树替换该决策树（毕竟，是“我在解码哪个令牌？”决策树）并建立该链接编码。

顺便说一句 - 看看这个链接...

http://www.inference.phy.cam.ac.uk/mackay/

Mackay 有一本可免费下载的教科书（并且有印刷版），虽然我还没有全部读完，但我读过的部分似乎非常好。尤其是从第 293 页开始的贝叶斯中“解释掉”的解释。

CiteSeerX 是非常有用的信息论论文资源（除其他外）。两篇有趣的论文是...

虽然 CN2 可能不是第一天的材料。

【讨论】：

【解决方案5】：

虽然这些概念可能是抽象的，但它们最近在机器学习/人工智能中得到了很好的应用。

这可能是对这些理论概念的实际需求的良好动机。总之，您想要估计您的模型（例如 LSTM、CNN）在逼近目标输出方面的表现（例如使用交叉熵或来自信息论的 Kullback-Leibler Divergence）。（查看on information bottleneck 和deep learning and information Bottleneck principle 了解通过信息论解释深度学习的观点）

此外，如果不对通道容量和属性进行一些分析，您将无法构建有用的communication 或networked system。

从本质上讲，它可能看起来很理论，但它是当前通信时代的核心。

为了更详细地理解我的意思，我邀请您观看这个 ISIT 讲座：David TSe 教授的The Spirit of Information Theory。

还可以查看 Claude Channon 本人撰写的论文 Bandwagon，该论文解释了信息论何时可能有用，何时不适合使用。

此paper 可帮助您入门，有关详细信息，请阅读Elements of Information theory。

【讨论】：

【解决方案6】：

信息论在例如机器学习和数据挖掘。特别是数据可视化、变量选择、数据转换和预测、信息论标准是最流行的方法之一。

参见例如

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf 或者 http://www.mdpi.com/1424-8220/11/6/5695

信息理论允许我们以正式的方式接近最优数据压缩，例如就后验分布和马尔可夫毯而言：

http://www.mdpi.com/1099-4300/13/7/1403

它允许我们检索变量选择中错误概率的上限和下限：

http://www.mdpi.com/1099-4300/12/10/2144

与统计相比，使用信息论的优势之一是不一定需要设置概率分布。人们可以计算信息、冗余、熵、传递熵，而无需尝试估计概率分布。没有信息丢失的变量消除是根据条件后验概率的保留来定义的，使用信息论可以找到类似的公式......而不需要计算概率密度。计算是根据变量之间的互信息进行的，文献为这些提供了许多有效的估计量和低维近似值。看： http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi.com/1424-8220/11/6/5695

【讨论】：

【解决方案7】：

我可以通过Glynn Winskel 推荐这本书。它在我的大学用于信息论课程。它从逻辑理论开始，然后定义了一种简单的命令式语言，称为 IMP，并遵循了许多关于语言中形式语义的概念。

编程语言的形式语义

http://mitpress.mit.edu/books/formal-semantics-programming-languages

【讨论】：