人工智能21级杨承峻信息论实验报告：信息量与信息熵计算

实验报告是2022-2023学年第2学期期间，针对工学院人工智能2021级学生杨承峻完成的信息论基础课程的一项实践活动。该报告于2023年4月27日在西部教学楼325室进行，记录了实验的具体细节。 实验的主要内容围绕“信息量与信息熵的计算与应用”展开。首先，实验目标明确，旨在让学生熟练掌握自信息和信息熵的定义，通过编程实现信息量的计算和信息熵的求解。此外，还要求学生能够读取并分析英文和中文文本文件，统计字符频率，作为无记忆信源的概率分布，并以此来比较两个信源的不确定性（复杂度）。 实验分为以下几个部分： 1. 编写自信息量计算函数：学生需使用任何编程语言实现这个功能，确保其正确理解和应用自信息的概念。 2. 计算信息熵函数：在编写过程中，必须调用自信息量函数，确保信息熵的计算准确无误。 3. 文本处理：针对英文文本文件，学生需读取内容，使用jieba库进行分词，统计每个字符的出现频率，并将其存储为输出概率分布。 4. 对中文文本进行相同操作：对中文文件进行处理，同样统计字符频率，形成另一种无记忆信源的概率分布。 5. 实验要求方面，强调了实验报告的完整性和代码的提交规范，包括代码需直接提供，而不是截图，并要求在规定时间内提交电子版报告。 在实验过程中，学生使用了Python编程语言，利用numpy和jieba库进行数据处理和分析。例如，`jieba.cut_chinese`和`jieba.cut_english`用于中文和英文文本的分词，而`content_analysis_chinese`和`content_analysis_english`分别用于存储中文和英文文本的字符频率统计结果。 通过本次实验，学生不仅提升了编程技能，还加深了对信息论基本概念的理解，特别是信息量和信息熵在实际问题中的应用。同时，对比不同语言文本的不确定性和复杂度，有助于他们认识到语言特性对信息熵计算的影响。