什么是soft attention？请给出它的公式和pytorch实现

Soft attention是一种用于机器学习中的注意力机制，它可以在给定一组输入和一个查询时，计算每个输入对查询的重要性，并根据这些重要性对输入进行加权平均。其公式如下：

$$
\alpha_i = \frac{\exp(e_{i})}{\sum_{j=1}^{n}\exp(e_{j})}
$$

其中，$e_i$ 表示输入 $i$ 与查询的相似度，$\alpha_i$ 表示输入 $i$ 的权重。

在 PyTorch 中，可以使用 `nn.Softmax` 模块来实现 soft attention，具体实现如下：

import torch
import torch.nn as nn

class SoftAttention(nn.Module):
    def __init__(self, input_size, hidden_size):
        super(SoftAttention, self).__init__()
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.linear1 = nn.Linear(input_size, hidden_size)
        self.linear2 = nn.Linear(hidden_size, 1)
        self.softmax = nn.Softmax(dim=1)

    def forward(self, inputs, query):
        # inputs: [batch_size, seq_len, input_size]
        # query: [batch_size, hidden_size]
        x = torch.tanh(self.linear1(inputs))
        x = self.linear2(x).squeeze(-1)
        alpha = self.softmax(x)
        output = torch.sum(alpha.unsqueeze(-1) * inputs, dim=1)
        return output

其中，`input_size` 表示输入的特征维度，`hidden_size` 表示中间层的维度，`inputs` 表示输入的张量，`query` 表示查询的张量。在 `forward` 方法中，首先通过一个线性层将输入映射到中间层，然后再通过另一个线性层将中间层映射到一个标量，最后使用 softmax 函数计算每个输入的权重，并将权重与输入进行加权平均。