迁移学习Python代码举例说明迁移学习的种类,Pytorch
时间: 2023-11-05 18:16:33 浏览: 36
好的,以下是一个使用PyTorch实现的迁移学习示例代码,同时也介绍了迁移学习的种类:
```python
import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, models, transforms
# 定义数据增强
data_transforms = {
'train': transforms.Compose([
transforms.RandomResizedCrop(224),
transforms.RandomHorizontalFlip(),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
]),
'val': transforms.Compose([
transforms.Resize(256),
transforms.CenterCrop(224),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
]),
}
# 加载数据集
data_dir = 'data/hymenoptera_data'
image_datasets = {x: datasets.ImageFolder(
os.path.join(data_dir, x), data_transforms[x]) for x in ['train', 'val']}
dataloaders = {x: torch.utils.data.DataLoader(
image_datasets[x], batch_size=4, shuffle=True, num_workers=4) for x in ['train', 'val']}
dataset_sizes = {x: len(image_datasets[x]) for x in ['train', 'val']}
class_names = image_datasets['train'].classes
# 加载预训练模型
model_ft = models.resnet18(pretrained=True)
num_ftrs = model_ft.fc.in_features
model_ft.fc = nn.Linear(num_ftrs, 2)
# 将模型移动到GPU
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model_ft = model_ft.to(device)
# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer_ft = optim.SGD(model_ft.parameters(), lr=0.001, momentum=0.9)
# 训练模型
model_ft = train_model(model_ft, criterion, optimizer_ft, dataloaders, dataset_sizes, device, num_epochs=25)
```
这段代码中,我们使用了迁移学习中的两种常见方法:微调和特征提取。具体来说,我们加载了预训练的ResNet-18模型,并将其fc层替换为一个包含两个输出的全连接层。然后,我们使用微调(fine-tuning)方法来进一步训练这个模型,以适应我们的具体数据集。此外,我们还使用了数据增强技术,以提高模型的泛化能力。
另外还有一些其他的迁移学习方法,包括多任务学习、联合学习、预训练语言模型等。这些方法都有各自的优势和适用场景,根据具体情况选择合适的方法可以帮助我们更快、更好地训练模型。