【发布时间】：2010-02-23 16:39:06
【问题描述】：
我知道Wikipedia 和MacKay 的Information Theory, Inference, and Learning Algorithms（它适合作为教科书吗？）。一本从香农熵开始，经过条件熵和互信息的教科书……有什么想法吗？如果您在您的大学学习这样的课程，您使用的是哪一种教科书？
谢谢。
【问题讨论】：
【发布时间】：2010-02-23 16:39:06
【问题描述】：
我在CS学习期间使用了以下教科书EPFL。 IMO，它写得很好，有很好的解释，并且涵盖了足够多的领域介绍。
Elements of Information Theory
编辑：为了进一步阅读，这里有一些我的教授推荐的其他读物。我没有读过它们（我感到羞耻），所以我不能说它们是否好。
- R. G. Gallager，Information Theory and Reliable Communication，威利，1968 年。
- D. MacKay，Information Theory, Inference & Learning Algorithms，剑桥大学出版社，2008 年。（你已经提到过）
- 我。 Csiszar 和 J. Korner，Information Theory: Coding Theorems for Discrete Memoryless Systems，Akademiai Kiado，1997。
- C. E. Shannon, The Mathematical Theory of Communication
【讨论】：
-
是的，差不多就是这样。对于介绍性治疗，请坚持第 2 章。
-
好的，谢谢。如果问题是关于“信息论的高级处理”，你会回答哪个？
-
添加了我教授的一些其他推荐读物。
-
Cover/Thomas 的第 2 章已经够大了，对这一章的完整理解是必要的（当然，也可以是另一本书的同等材料）。但如果你必须更进一步，我会说第 4、5 和 7 章；然后是 8 和 9；然后 10.