云南大学信息论实验：二维分布下熵与互信息计算

本篇实验报告主要介绍了在云南大学数学与统计学院的2015级信息论基础实验课程中，学生刘鹏完成的熵计算编程实验。实验内容主要包括两个部分：一是给定二维分布函数，计算联合熵、条件熵、互信息和各变量的熵；二是通过实际应用，例如对一段文本、一幅图像（以灰度图像处理）进行熵的计算。 在实验的第一部分，学生被要求利用课本例题2.2.1来编写程序，计算给定二维概率密度分布的熵。提供的代码展示了如何使用二维数组来实现这一计算，并给出了具体的运行结果和代码分析。这种操作涉及到的是信息熵的理论基础，即根据概率分布的不确定性来度量信息的平均量。 第二部分，实验扩展到了实际应用，选择了一幅RGB彩色图片，但为了保持一致性，将图片转换为灰度图像后进行熵的计算。这个过程体现了理论知识与实践的结合，即如何将抽象的熵概念运用到具体的数据处理中，如图像的像素频率分析。 实验过程中，学生对熵的概念有了更深入的理解，包括相对熵（KL散度）和条件熵的计算方法。这些概念在信息论中有重要地位，它们描述了随机变量之间的依赖关系和信息传递的效率。 此外，报告还包含了实验平台信息，如Windows 10 1703 Enterprise中文版操作系统、Python 3.6.0编程语言以及WingIDE Professional集成开发环境的使用。实验记录详细列出了每个问题的解答、程序代码、运行结果以及代码分析，有助于其他学生理解和复现实验过程。 最后，报告总结了实验体会，强调了通过实践学习信息论基础的重要性，以及对参考文献《信息论》的理解提升。实验报告的格式严谨，包括了上机实践的成绩、指导教师、学生姓名、学号、日期、实践编号、组号和实验时间等信息。 通过这篇实验报告，我们可以看到刘鹏同学在信息论基础实验中的扎实学习和实践经验，以及他将理论知识转化为实际操作的能力。