layer_normalization

Layer Normalization是一种用于神经网络中的归一化方法，它可以在训练过程中对每个样本的每个特征进行归一化，而不是像Batch Normalization一样对每个特征在整个batch上进行归一化。这种方法可以减少对batch size的依赖，同时也可以减少对网络结构的限制。以下是一个使用Layer Normalization的例子：

import torch
import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.linear1 = nn.Linear(10, 20)
        self.layer_norm = nn.LayerNorm(20)
        self.linear2 = nn.Linear(20, 1)

    def forward(self, x):
        x = self.linear1(x)
        x = self.layer_norm(x)
        x = torch.relu(x)
        x = self.linear2(x)
        return x

在这个例子中，我们定义了一个包含两个线性层和一个Layer Normalization层的神经网络。在forward函数中，我们首先将输入x传递给第一个线性层，然后将输出传递给Layer Normalization层进行归一化，接着使用ReLU激活函数，最后将输出传递给第二个线性层。需要注意的是，Layer Normalization的输入应该是一个二维张量，其中第一维表示batch size，第二维表示特征数。