jupyter风格迁移图片案例

好的，以下是使用 Jupyter Notebook 进行风格迁移的示例代码和步骤。

首先，需要准备两张图片，一张是风格图片，一张是内容图片。这里假设风格图片为 `style.jpg`，内容图片为 `content.jpg`。可以使用以下代码读取图片：

from PIL import Image

# 读取风格图片和内容图片
style_img = Image.open("style.jpg")
content_img = Image.open("content.jpg")

接下来，需要使用 PyTorch 和 Torchvision 库进行风格迁移。需要先安装这两个库：

!pip install torch torchvision

然后，可以使用以下代码加载预训练的模型和转换器：

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision.transforms as transforms
import torchvision.models as models

# 加载预训练的 VGG19 模型
vgg = models.vgg19(pretrained=True).features

# 使用 GPU 进行计算
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
vgg.to(device)

# 定义转换器
# 首先对图片进行缩放和裁剪，使其符合 VGG19 模型的要求
# 然后将像素值归一化为 [-1, 1]
transform = transforms.Compose([
    transforms.Resize(512),
    transforms.CenterCrop(512),
    transforms.ToTensor(),
    transforms.Normalize((0.485, 0.456, 0.406), (0.229, 0.224, 0.225))
])

# 定义反向转换器，将输出的张量转换回图片
reverse_transform = transforms.Compose([
    transforms.Normalize((-2.12, -2.04, -1.80), (4.37, 4.46, 4.44)),
    transforms.ToPILImage()
])

现在可以将风格图片和内容图片都转换为张量，并将它们传递给 VGG19 模型，得到它们各自的特征表示：

# 将风格图片和内容图片都转换为张量
style_tensor = transform(style_img).unsqueeze(0).to(device)
content_tensor = transform(content_img).unsqueeze(0).to(device)

# 将风格图片和内容图片都传递给 VGG19 模型，得到它们各自的特征表示
def get_features(tensor, model):
    layers = {
        '0': 'conv1_1',
        '5': 'conv2_1',
        '10': 'conv3_1',
        '19': 'conv4_1',
        '21': 'conv4_2',  # 需要使用 conv4_2 层的输出作为内容表示
        '28': 'conv5_1'
    }
    features = {}
    x = tensor
    for name, layer in model._modules.items():
        x = layer(x)
        if name in layers:
            features[layers[name]] = x
    return features

style_features = get_features(style_tensor, vgg)
content_features = get_features(content_tensor, vgg)

接下来，需要定义一个函数来计算风格损失和内容损失：

# 定义函数来计算风格损失和内容损失
def get_loss(style_targets, content_targets, style_weight, content_weight, generated, vgg):
    style_loss = 0
    content_loss = 0
    generated_features = get_features(generated, vgg)
    for name in style_targets:
        style_loss += torch.mean((generated_features[name] - style_targets[name])**2)
    for name in content_targets:
        content_loss += torch.mean((generated_features[name] - content_targets[name])**2)
    style_loss *= style_weight
    content_loss *= content_weight
    total_loss = style_loss + content_loss
    return total_loss

函数的输入包括风格目标、内容目标、风格权重、内容权重、生成的图片和 VGG19 模型。其中，风格目标和内容目标是之前得到的风格图片和内容图片的特征表示，风格权重和内容权重是调整两种损失的相对权重。函数的输出是总损失。

现在可以开始进行风格迁移了。首先需要定义生成的图片，并且将其初始化为内容图片的副本：

# 定义生成的图片，并将其初始化为内容图片的副本
generated_tensor = content_tensor.clone().requires_grad_(True)

然后可以定义优化器和损失函数，并开始迭代训练：

# 定义优化器和损失函数
optimizer = optim.Adam([generated_tensor], lr=0.05)
style_weight = 1e6
content_weight = 1

# 迭代训练
num_steps = 2000
for i in range(num_steps):
    optimizer.zero_grad()
    generated_features = get_features(generated_tensor, vgg)
    loss = get_loss(style_features, content_features, style_weight, content_weight, generated_tensor, vgg)
    loss.backward()
    optimizer.step()
    if i % 100 == 0:
        print("Step [{}/{}], Loss: {:.4f}".format(i+1, num_steps, loss.item()))

在训练完成后，可以使用反向转换器将生成的张量转换回图片，并将其保存：

# 将生成的张量转换回图片，并将其保存
generated_img = reverse_transform(generated_tensor.cpu().squeeze())
generated_img.save("generated.jpg")

这样，就完成了使用 Jupyter Notebook 进行风格迁移的示例。完整代码如下：