语义分割热力图可视化

### 语义分割热力图可视化的方法

#### 使用GradCAM实现语义分割任务中的热力图可视化

为了实现语义分割任务中的热力图可视化，可以采用GradCAM方法。这种方法能够帮助理解神经网络对于特定类别的关注区域[^1]。

from grad_cam import GradCAM
import torch
import cv2
import numpy as np

def generate_heatmap(image, model, target_layer_name):
    # 初始化Grad-CAM对象并指定目标层
    cam = GradCAM(model=model, target_layer=target_layer_name)

    # 将输入图片转换成PyTorch张量形式
    input_tensor = preprocess_image(image)

    # 利用Grad-CAM计算得到热力图
    grayscale_cam = cam(input_tensor=input_tensor)[0]

    # 对灰度热力图进行处理以便叠加到原始图像之上显示出来
    heatmap = visualize_heatmap(grayscale_cam)
    
    return overlay_heatmap_on_image(heatmap, image)


def preprocess_image(img_path):
    """预处理函数"""
    img = cv2.imread(img_path, 1)
    img = np.float32(cv2.resize(img, (WIDTH, HEIGHT))) / 255
    preprocessed_img = transform(img).unsqueeze(0)
    return preprocessed_img


def visualize_heatmap(gray_heatmap):
    """将灰度热力图转化为彩色热力图"""
    gray_heatmap = np.uint8(255 * gray_heatmap)
    colored_map = cv2.applyColorMap(gray_heatmap, cv2.COLORMAP_JET)
    return colored_map


def overlay_heatmap_on_image(colored_heatmap, original_image):
    """将热力图覆盖在原图上"""
    h, w, _ = original_image.shape
    resized_colormap = cv2.resize(colored_heatmap, (w, h))
    combined_image = cv2.addWeighted(resized_colormap, 0.7, original_image, 0.3, 0)
    return combined_image

上述代码展示了如何通过`preprocess_image()`准备待分析的图像数据；接着调用`generate_heatmap()`来获取最终带有颜色编码的重要程度指示器——即所谓的“热力图”。最后一步则是利用`overlay_heatmap_on_image()`把生成好的热力图与源图像相结合展示给用户查看。