Python训练营打卡DAY47

DAY 47 注意力热图可视化

昨天代码中注意力热图的部分顺移至今天

知识点回顾：

热力图

作业：对比不同卷积层热图可视化的结果

前面代码看前一天，这里是不同卷积层可视化注意力热图的代码。

#对比不同卷积层热图可视化的结果
import torch
import numpy as np
import matplotlib.pyplot as plt
from scipy.ndimage import zoomdef visualize_multi_layer_attention(model, test_loader, device, class_names, num_samples=3):"""可视化模型不同卷积层的注意力热力图，对比浅层和深层的特征关注区域Args:model: 已加载的PyTorch模型test_loader: 测试数据加载器device: 计算设备 (cuda/cpu)class_names: 类别名称列表num_samples: 可视化样本数"""model.eval()# 定义需要可视化的卷积层名称（根据模型结构修改）target_layers = ['conv1', 'conv2', 'conv3']  # 示例：浅层->中层->深层with torch.no_grad():for i, (images, labels) in enumerate(test_loader):if i >= num_samples:breakimages, labels = images.to(device), labels.to(device)# 存储各层的激活图layer_activations = {name: [] for name in target_layers}# 注册钩子函数hooks = []for name, layer in model.named_modules():if name in target_layers:def hook(module, input, output, name=name):layer_activations[name].append(output.cpu())hooks.append(layer.register_forward_hook(hook))# 前向传播outputs = model(images)# 移除钩子for hook in hooks:hook.remove()# 获取预测结果_, predicted = torch.max(outputs, 1)# 反标准化原始图像img = images[0].cpu().permute(1, 2, 0).numpy()img = img * np.array([0.2023, 0.1994, 0.2010]) + np.array([0.4914, 0.4822, 0.4465])img = np.clip(img, 0, 1)# 创建对比图fig, axes = plt.subplots(len(target_layers)+1, 3, figsize=(15, 5*(len(target_layers)+1)))fig.suptitle(f"真实标签: {class_names[labels[0]]} | 预测: {class_names[predicted[0]]}\n""不同卷积层的注意力热力图对比",fontsize=14)# 显示原始图像for j in range(3):axes[0, j].imshow(img)axes[0, j].set_title('原始图像' if j==1 else '')axes[0, j].axis('off')# 显示各层热力图for k, layer_name in enumerate(target_layers, start=1):# 获取该层的特征图（第一个样本）feature_map = layer_activations[layer_name][0][0]  # shape: [C, H, W]# 选择最具代表性的3个通道（按平均激活强度排序）channel_weights = torch.mean(feature_map, dim=(1, 2))top3_channels = torch.argsort(channel_weights, descending=True)[:3]# 可视化每个通道for j, channel_idx in enumerate(top3_channels):# 获取单通道热力图并归一化heatmap = feature_map[channel_idx].numpy()heatmap = (heatmap - heatmap.min()) / (heatmap.max() - heatmap.min() + 1e-8)# 调整热力图尺寸匹配输入图像h_ratio = img.shape[0] / heatmap.shape[0]w_ratio = img.shape[1] / heatmap.shape[1]heatmap = zoom(heatmap, (h_ratio, w_ratio))# 绘制叠加图axes[k, j].imshow(img)axes[k, j].imshow(heatmap, alpha=0.5, cmap='jet')axes[k, j].set_title(f"{layer_name} 通道 {channel_idx}\n"f"均值: {channel_weights[channel_idx]:.2f}")axes[k, j].axis('off')plt.tight_layout()plt.show()# 使用示例
visualize_multi_layer_attention(model, test_loader, device, class_names, num_samples=3)