一、实验目的 通过实验，巩固所学的理论内容，掌握自信息和信息熵的工程实现方法。 二、实验要求 自信息和信息熵的计算方法，需要自行编码实现，不能直接调用第三方软件包。可编写为相应函数，供以后实验再次使用。代码中需包含适量注释，说明求解思路和过程。 计算图像的自信息和信息熵，需包含下述步骤： (1) 读入一幅图像 (2) 计算图中每个灰度级的频数、频率 (3) 从频率出发计算该图像的自信息、信息熵 (4) 可视化显示原图、灰度级频数、自信息和信息熵 计算两只骰子点数组合(随机事件)的熵，需包含下述步骤： (1) 用列表类型保存一只骰子(色子)的可能结果； (2) 表示并保存两只骰子的可能点数组合；提示(不强求)：可以使用itertools.product()函数产生两个列表的笛卡尔积。 (3) 将两只骰子的点数之和作为随机事件，例如两只骰子分别取点1和点2，与分别取点2和点1视为同一种组合，计算出每种组合的数量(频数)，存入一个列表结构。 (4) 由每种组合的频数，计算该组合的频率(概率)。 (5) 计算两只骰子点数和的概率分布的熵。

本次实验我们将分为两部分来进行：第一部分，计算图像的自信息和信息熵；第二部分，计算骰子点数组合的熵。

第一部分：

1.读入一幅图像

首先，我们需要读取一幅图像。在Python中，我们可以使用PIL库来读取和处理图像。具体实现如下：

from PIL import Image

# 读取图片
image = Image.open("image_path")

2.计算图中每个灰度级的频数、频率

接下来，我们需要计算图像中每个灰度级的频数和频率。我们可以通过调用PIL库中的`getdata()`函数获取图像像素值，然后统计每个灰度级出现的次数。具体实现如下：

# 获取图像像素值
pixels = list(image.getdata())

# 统计每个灰度级出现的次数
frequency = [0] * 256
for pixel in pixels:
    frequency[pixel] += 1

# 计算每个灰度级的频率
total_pixels = image.size[0] * image.size[1]  # 图像总像素数
probability = [count / total_pixels for count in frequency]

3.从频率出发计算该图像的自信息、信息熵

接下来，我们可以从灰度级的频率出发，计算该图像的自信息和信息熵。具体实现如下：

import math

# 计算自信息
information = [-math.log2(p) if p > 0 else 0 for p in probability]

# 计算信息熵
entropy = -sum([p * math.log2(p) if p > 0 else 0 for p in probability])

4.可视化显示原图、灰度级频数、自信息和信息熵

最后，我们可以将原图、灰度级频数、自信息和信息熵可视化显示出来。具体实现如下：

import matplotlib.pyplot as plt

# 显示原图
plt.subplot(2, 2, 1)
plt.imshow(image, cmap="gray")
plt.axis("off")
plt.title("Original Image")

# 显示灰度级频数
plt.subplot(2, 2, 2)
plt.bar(range(256), frequency)
plt.title("Gray Level Frequency")
plt.xlabel("Gray Level")
plt.ylabel("Frequency")

# 显示自信息
plt.subplot(2, 2, 3)
plt.bar(range(256), information)
plt.title("Self-Information")
plt.xlabel("Gray Level")
plt.ylabel("Information")

# 显示信息熵
plt.subplot(2, 2, 4)
plt.bar(0, entropy)
plt.title("Entropy")
plt.xticks([])
plt.ylabel("Entropy")

plt.show()

第二部分：

1.用列表类型保存一只骰子(色子)的可能结果

首先，我们需要定义一个列表，保存一只骰子可能的结果。由于骰子有6个面，因此可以使用一个长度为6的列表来表示。

dice = [1, 2, 3, 4, 5, 6]

2.表示并保存两只骰子的可能点数组合

接下来，我们可以使用Python中的`itertools.product()`函数，来表示并保存两只骰子的可能点数组合。具体实现如下：

import itertools

# 表示并保存两只骰子的可能点数组合
combinations = list(itertools.product(dice, repeat=2))

3.将两只骰子的点数之和作为随机事件，计算出每种组合的数量(频数)，存入一个列表结构

现在，我们需要计算每种点数之和的出现次数，并将它们存入一个列表结构中。具体实现如下：

# 计算每种点数之和的出现次数
frequencies = [0] * 11
for combination in combinations:
    frequencies[combination[0] + combination[1] - 2] += 1

4.由每种组合的频数，计算该组合的频率(概率)

接下来，我们可以由每种组合的频数，计算该组合的频率(概率)。具体实现如下：

# 计算每种组合的概率
total_combinations = len(combinations)
probabilities = [count / total_combinations for count in frequencies]

5.计算两只骰子点数和的概率分布的熵

最后，我们可以使用公式$H(X)=-\sum_{i=1}^np(x_i)\log_2p(x_i)$，计算两只骰子点数和的概率分布的熵。具体实现如下：

# 计算熵
entropy = -sum([p * math.log2(p) if p > 0 else 0 for p in probabilities])

完整代码如下：