使用深度卷积神经网络,(自己构造或者采用预训练模型 VGG, GoogLeNet, ResNet, DenseNet 等),对图像数据集 CIFAR-10(https://www.cs.toronto.edu/~kriz/cifar.html) 进行分类,该数据集的训练集包含 50000 张图片,测试集包含 10000 张图片。 要求:需要把训练集划分出 10000 张图片作为验证集,用来进行模型选择,可以使用 Kaggle 的免费 GPU 进行训练。需要在测试集上画出 accuracy vs. epochs

时间: 2023-06-12 19:05:01 浏览: 63
好的,这是一个典型的图像分类问题,我们可以使用深度卷积神经网络来解决。我们可以使用 PyTorch 框架来实现。 首先,我们要下载 CIFAR-10 数据集。可以使用以下代码: ```python import torchvision.datasets as dset import torchvision.transforms as transforms # 定义数据预处理 transform = transforms.Compose([ transforms.RandomHorizontalFlip(), transforms.RandomCrop(32, padding=4), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # 加载数据集 train_set = dset.CIFAR10(root='./data', train=True, download=True, transform=transform) test_set = dset.CIFAR10(root='./data', train=False, download=True, transform=transform) ``` 接下来,我们可以将训练集划分为训练集和验证集。 ```python import torch.utils.data as data # 划分训练集和验证集 train_size = int(0.8 * len(train_set)) val_size = len(train_set) - train_size train_set, val_set = data.random_split(train_set, [train_size, val_size]) ``` 然后,我们可以定义模型。这里我们使用一个简单的卷积神经网络。 ```python import torch.nn as nn class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 32, kernel_size=3, padding=1) self.bn1 = nn.BatchNorm2d(32) self.conv2 = nn.Conv2d(32, 64, kernel_size=3, padding=1) self.bn2 = nn.BatchNorm2d(64) self.conv3 = nn.Conv2d(64, 128, kernel_size=3, padding=1) self.bn3 = nn.BatchNorm2d(128) self.fc1 = nn.Linear(4*4*128, 10) def forward(self, x): x = self.conv1(x) x = self.bn1(x) x = nn.functional.relu(x) x = nn.functional.max_pool2d(x, 2) x = self.conv2(x) x = self.bn2(x) x = nn.functional.relu(x) x = nn.functional.max_pool2d(x, 2) x = self.conv3(x) x = self.bn3(x) x = nn.functional.relu(x) x = nn.functional.max_pool2d(x, 2) x = x.view(-1, 4*4*128) x = self.fc1(x) return x net = Net() ``` 接下来,我们可以定义损失函数和优化器。 ```python import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.9) ``` 然后,我们可以使用 DataLoader 来加载数据。 ```python train_loader = data.DataLoader(train_set, batch_size=128, shuffle=True) val_loader = data.DataLoader(val_set, batch_size=128, shuffle=True) test_loader = data.DataLoader(test_set, batch_size=128, shuffle=False) ``` 最后,我们可以开始训练并在测试集上测试模型。 ```python import torch import time device = torch.device("cuda" if torch.cuda.is_available() else "cpu") net.to(device) start_time = time.time() for epoch in range(50): net.train() running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data inputs, labels = inputs.to(device), labels.to(device) optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() net.eval() val_loss = 0.0 correct = 0 total = 0 with torch.no_grad(): for data in val_loader: inputs, labels = data inputs, labels = inputs.to(device), labels.to(device) outputs = net(inputs) loss = criterion(outputs, labels) val_loss += loss.item() _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print(f"Epoch {epoch + 1}, Train Loss: {running_loss / len(train_loader):.3f}, Val Loss: {val_loss / len(val_loader):.3f}, Val Acc: {(correct / total) * 100:.3f}%") end_time = time.time() print(f"Training Time: {end_time - start_time}s") net.eval() correct = 0 total = 0 with torch.no_grad(): for data in test_loader: inputs, labels = data inputs, labels = inputs.to(device), labels.to(device) outputs = net(inputs) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print(f"Test Acc: {(correct / total) * 100:.3f}%") ``` 在测试集上的准确率约为 78%,可以根据需要调整模型和超参数来提高准确率。最后,我们可以使用 Matplotlib 绘制 accuracy vs. epochs 图表。 ```python import matplotlib.pyplot as plt train_acc = [] val_acc = [] net.eval() with torch.no_grad(): for epoch in range(50): train_correct = 0 train_total = 0 for data in train_loader: inputs, labels = data inputs, labels = inputs.to(device), labels.to(device) outputs = net(inputs) _, predicted = torch.max(outputs.data, 1) train_total += labels.size(0) train_correct += (predicted == labels).sum().item() train_acc.append((train_correct / train_total) * 100) val_correct = 0 val_total = 0 for data in val_loader: inputs, labels = data inputs, labels = inputs.to(device), labels.to(device) outputs = net(inputs) _, predicted = torch.max(outputs.data, 1) val_total += labels.size(0) val_correct += (predicted == labels).sum().item() val_acc.append((val_correct / val_total) * 100) plt.plot(train_acc, label="Train Acc") plt.plot(val_acc, label="Val Acc") plt.xlabel("Epochs") plt.ylabel("Accuracy") plt.legend() plt.show() ``` 这样就可以得到 accuracy vs. epochs 图表了。

相关推荐

最新推荐

recommend-type

基于卷积神经网络VGG16模型花卉分类与手势识别.docx

本文是利用卷积神经网络VGG16模型对花卉和手势进行分类识别,利用卷积神经网络的卷积层进行特征提取,连接层起到分类器的作用,对图像进行分类。所用软件是pycharm,解释器是python3.6。
recommend-type

使用tensorflow实现VGG网络,训练mnist数据集方式

主要介绍了使用tensorflow实现VGG网络,训练mnist数据集方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
recommend-type

浅谈keras使用预训练模型vgg16分类,损失和准确度不变

主要介绍了浅谈keras使用预训练模型vgg16分类,损失和准确度不变,具有很好的参考价值,希望对大家有所帮助。一起跟随小编小编过来看看吧
recommend-type

【深度学习入门】Paddle实现手写数字识别详解(基于DenseNet)

【深度学习入门】Paddle实现手写数字识别(基于DenseNet)0. 闲言碎语:1. MNIST 数据集:2. DenseNet 详解:2.1 ResNet(颠覆性的残差结构):2.2 DenseNet(跨层链接的极致):3. 代码: 0. 闲言碎语: OK,因为...
recommend-type

Python通过VGG16模型实现图像风格转换操作详解

主要介绍了Python通过VGG16模型实现图像风格转换操作,结合实例形式详细分析了Python使用VGG16模型实现图像风格转换的具体原理、操作步骤与实现方法,需要的朋友可以参考下
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

解释minorization-maximization (MM) algorithm,并给出matlab代码编写的例子

Minorization-maximization (MM) algorithm是一种常用的优化算法,用于求解非凸问题或含有约束的优化问题。该算法的基本思想是通过构造一个凸下界函数来逼近原问题,然后通过求解凸下界函数的最优解来逼近原问题的最优解。具体步骤如下: 1. 初始化参数 $\theta_0$,设 $k=0$; 2. 构造一个凸下界函数 $Q(\theta|\theta_k)$,使其满足 $Q(\theta_k|\theta_k)=f(\theta_k)$; 3. 求解 $Q(\theta|\theta_k)$ 的最优值 $\theta_{k+1}=\arg\min_\theta Q(
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。