transformer中输入部分embedding和position encoding是如何结合起来的呢？

在Transformer中，输入序列的每个token都会先进行一个embedding操作，将其转换为一个高维度的向量表示。这个embedding操作通常使用一个简单的线性变换来完成。然后，为了考虑序列中token的顺序信息，我们需要将每个token的embedding与一个位置编码相加。这个位置编码是一个固定的向量，它的值是根据该位置的位置索引计算得到的。

具体来说，假设我们有一个输入序列 $x = [x_1, x_2, ..., x_n]$，其中 $x_i$ 是第 $i$ 个token的编号，$d_{model}$ 是embedding的维度。那么，我们可以先对每个token进行一个embedding操作，得到一个 $d_{model}$ 维的向量表示，即：

$$
\textbf{E}_x = [\textbf{e}_1, \textbf{e}_2, ..., \textbf{e}_n]
$$

其中，$\textbf{e}_i$ 是 $x_i$ 的embedding向量。

然后，我们需要为每个位置 $i$ 计算一个位置编码 $\textbf{p}_i$，它的维度也是 $d_{model}$。具体计算方式如下：

$$
\begin{aligned}
\textbf{p}_{i, 2j} &= \sin \left(\frac{i}{10000^{2j/d_{model}}}\right) \\
\textbf{p}_{i, 2j+1} &= \cos \left(\frac{i}{10000^{2j/d_{model}}}\right)
\end{aligned}
$$

其中，$i$ 是位置索引，$j$ 是embedding向量的维度索引。这个公式的含义是，对于每个位置和每个维度，我们使用一个不同的正弦或余弦函数来计算位置编码的值。

最后，我们将每个token的embedding向量和其对应的位置编码向量相加，得到最终的token表示，即：

$$
\textbf{x}_i = \textbf{e}_i + \textbf{p}_i
$$

这样，我们就完成了embedding和位置编码的结合。