对这个深度神经网络进行特征和优化，给出代码

对于深度神经网络的特征和优化，有以下一些常见的方法：

1. 特征提取：通过一些预处理方法，提取出数据中的重要特征，可以使用PCA、LDA、卷积等方法。

2. 正则化：通过在损失函数中添加正则化项，限制模型的复杂度，防止过拟合。

3. 批标准化：对每一层的输入数据进行标准化，可以提高训练速度，加快收敛。

4. 梯度裁剪：在反向传播过程中，限制梯度的大小，防止梯度爆炸或消失。

5. 学习率调整：根据训练过程中的表现，动态调整学习率，可以提高模型的性能。

下面是一个简单的深度神经网络的代码，包含了部分特征和优化方法的实现：

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 定义特征提取层
class FeatureExtractor(nn.Module):
    def __init__(self):
        super(FeatureExtractor, self).__init__()
        self.conv1 = nn.Conv2d(1, 32, 3, padding=1)
        self.conv2 = nn.Conv2d(32, 64, 3, padding=1)
        self.pool = nn.MaxPool2d(2)
        self.relu = nn.ReLU()

    def forward(self, x):
        x = self.conv1(x)
        x = self.relu(x)
        x = self.pool(x)
        x = self.conv2(x)
        x = self.relu(x)
        x = self.pool(x)
        return x

# 定义分类器
class Classifier(nn.Module):
    def __init__(self):
        super(Classifier, self).__init__()
        self.fc1 = nn.Linear(64 * 7 * 7, 128)
        self.fc2 = nn.Linear(128, 10)
        self.relu = nn.ReLU()
        self.dropout = nn.Dropout(p=0.5)

    def forward(self, x):
        x = x.view(-1, 64 * 7 * 7)
        x = self.fc1(x)
        x = self.relu(x)
        x = self.dropout(x)
        x = self.fc2(x)
        return x

# 定义模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.feature_extractor = FeatureExtractor()
        self.classifier = Classifier()

    def forward(self, x):
        x = self.feature_extractor(x)
        x = self.classifier(x)
        return x

# 加载数据
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))])
trainset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)

# 定义模型、损失函数、优化器
net = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(net.parameters(), lr=0.001)

# 训练模型
for epoch in range(10):
    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        inputs, labels = data
        optimizer.zero_grad()
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        nn.utils.clip_grad_norm_(net.parameters(), 1)  # 梯度裁剪
        optimizer.step()
        running_loss += loss.item()
    print('Epoch %d loss: %.3f' % (epoch + 1, running_loss / len(trainloader)))