残差分析出现了的四个图分别是什么

残差分析通常用四个图来诊断线性回归模型的假设：

1. 残差-拟合值图：用于检查残差是否随着拟合值的增加而增加。如果看到一个漏斗形状的图案，可能表明方差不稳定或者存在非线性关系。

2. 正态概率图：用于检查残差是否服从正态分布。如果残差服从正态分布，则会看到点沿着一条直线分布。

3. 带状图：用于检查是否存在异方差性。如果看到带状图呈现出漏斗形状，可能表明存在异方差性。

4. 杠杆-残差图：用于检查数据点是否存在异常值或者离群值。如果观察到某个数据点明显偏离其他数据点，可能需要进一步探索该数据点的来源和原因。

相关问题

高斯四元回归分析模型

高斯四元回归分析模型是一种用于建立多元线性回归模型的统计方法。它是在普通最小二乘法的基础上，通过引入高斯分布的假设来对误差进行建模。

在高斯四元回归分析模型中，假设因变量（被预测变量）与自变量之间存在线性关系，并且误差项服从均值为0、方差为常数的正态分布。通过最小化残差平方和来估计模型参数，即找到使得观测值与模型预测值之间差异最小的参数。

具体步骤如下：
1. 确定因变量和自变量：确定需要预测的因变量和用于预测的自变量。
2. 建立模型：建立多元线性回归模型，形式为 Y = β0 + β1X1 + β2X2 + ... + βnXn + ε，其中Y为因变量，X1、X2、...、Xn为自变量，β0、β1、β2、...、βn为模型参数，ε为误差项。
3. 估计参数：通过最小化残差平方和来估计模型参数，常用方法是最小二乘法。
4. 模型诊断：对模型进行诊断，检验模型的拟合程度和假设的合理性。
5. 预测和推断：利用估计的模型参数进行预测和推断。

高斯四元回归分析模型在实际应用中具有广泛的应用，可以用于解决多个自变量对一个因变量的影响关系的问题。

假定transformer的解码器结构是掩码多头注意力、残差连接和层正则化1、多头交叉注意力、残差连接和层正则化2、前馈网络、残差连接和层正则化3、解码输出，一共七层。以I like this lecture四个词的输入序列为例，输出为其中文翻译。假没词的embedding维度为10，编码器和解码均使用8个头的自注力模块。参考以上transformer解码器结构，自定义所需变量和符号，分别对这七个模块的输入输出和处理过程进行具体分析（包括矩阵的维度等）。注意，除了四个词外，<begin>为初始值，因此注意力矩阵是5*10的

为方便描述，我们将输入序列 "I like this lecture" 转换为对应的词向量矩阵 $X \in \mathbb{R}^{5 \times 10}$，其中每一行表示一个词的词向量，每个词的词向量维度为10。假设输入序列的编码器已经生成了对应的编码向量 $E \in \mathbb{R}^{5 \times 10}$，其中每一行表示一个词的编码向量。

1. 掩码多头注意力

输入：解码器的上一层输出 $Y_{i-1} \in \mathbb{R}^{5 \times 10}$，掩码矩阵 $M \in \{0, -\infty\}^{5 \times 5}$，其中 $M_{ij}$ 表示在解码器的第 $i$ 个位置时是否可以看到编码器的第 $j$ 个位置的信息。在解码器中，我们需要将当前位置之后的信息掩盖掉，因此 $M$ 的上三角部分应该全部设置为 $-\infty$。

处理过程：

1. 将 $Y_{i-1}$ 拆分为 $h$ 个头，每个头的大小为 $d_h = d_{model} / h = 10 / 8 = 1.25$，得到 $h$ 个矩阵 $Y_{i-1}^1, ..., Y_{i-1}^h \in \mathbb{R}^{5 \times 1.25}$。
2. 对每个头 $j$，计算其注意力分数矩阵 $A^j \in \mathbb{R}^{5 \times 5}$，其中 $A^j_{ij} = \frac{1}{\sqrt{d_h}} \cdot Q^j_i \cdot K^j_j$，$Q^j_i$ 和 $K^j_j$ 分别表示当前位置 $i$ 的查询向量和编码器位置 $j$ 的键向量，均为 $Y_{i-1}^j$ 的线性变换结果。
3. 将注意力分数矩阵与掩码矩阵相加，得到掩码注意力分数矩阵 $A \in \mathbb{R}^{5 \times 5}$，其中 $A_{ij} = \sum_{j=1}^{h} A^j_{ij} + M_{ij}$。
4. 对掩码注意力分数矩阵进行 softmax 操作，得到注意力权重矩阵 $W \in \mathbb{R}^{5 \times 5}$，其中 $W_{ij}$ 表示在解码器的第 $i$ 个位置时对编码器的第 $j$ 个位置的注意力权重。
5. 对每个头 $j$，计算其加权值向量 $V^j \in \mathbb{R}^{1.25}$，其中 $V^j_i = \sum_{j=1}^{5} W_{ij} \cdot V^j_j$，$V^j_j$ 表示编码器位置 $j$ 的值向量，即编码器的输出 $E$ 的第 $j$ 行。
6. 将 $h$ 个加权值向量连接起来，得到当前位置的输出 $Y_i \in \mathbb{R}^{10}$。

输出：当前位置的输出 $Y_i \in \mathbb{R}^{10}$。

2. 多头交叉注意力

输入：掩码多头注意力的输出 $Y_i \in \mathbb{R}^{10}$，编码器的输出 $E \in \mathbb{R}^{5 \times 10}$。

处理过程：

1. 将 $Y_i$ 拆分为 $h$ 个头，每个头的大小为 $d_h = d_{model} / h = 10 / 8 = 1.25$，得到 $h$ 个矩阵 $Y_i^1, ..., Y_i^h \in \mathbb{R}^{1 \times 1.25}$。
2. 对每个头 $j$，计算其注意力分数矩阵 $A^j \in \mathbb{R}^{5 \times 1}$，其中 $A^j_{ij} = \frac{1}{\sqrt{d_h}} \cdot Q^j_i \cdot K^j_j$，$Q^j_i$ 和 $K^j_j$ 分别表示当前位置 $i$ 的查询向量和编码器位置 $j$ 的键向量，均为 $Y_i^j$ 的线性变换结果。
3. 对每个头 $j$，计算其加权值向量 $V^j \in \mathbb{R}^{1.25}$，其中 $V^j_i = \sum_{j=1}^{5} A^j_{ij} \cdot V^j_j$，$V^j_j$ 表示编码器位置 $j$ 的值向量，即编码器的输出 $E$ 的第 $j$ 行。
4. 将 $h$ 个加权值向量连接起来，得到当前位置的输出 $Y_i' \in \mathbb{R}^{10}$。

输出：当前位置的输出 $Y_i' \in \mathbb{R}^{10}$。

3. 前馈网络

输入：多头交叉注意力的输出 $Y_i' \in \mathbb{R}^{10}$。

处理过程：

1. 对 $Y_i'$ 进行线性变换，得到形状为 $(10, 512)$ 的中间结果 $Y_i''$。
2. 对 $Y_i''$ 每个元素应用激活函数 ReLU，得到激活后的结果 $Y_i'''$。
3. 对 $Y_i'''$ 进行另一个线性变换，得到当前位置的输出 $Y_i'''' \in \mathbb{R}^{10}$。

输出：当前位置的输出 $Y_i'''' \in \mathbb{R}^{10}$。

4. 残差连接和层正则化

输入：前馈网络的输出 $Y_i'''' \in \mathbb{R}^{10}$，解码器的上一层输出 $Y_{i-1} \in \mathbb{R}^{5 \times 10}$。

处理过程：

1. 对前馈网络的输出 $Y_i''''$ 和解码器的上一层输出 $Y_{i-1}$ 进行残差连接，得到形状为 $(5, 10)$ 的中间结果 $Z_i$，其中 $Z_i = Y_i'''' + Y_{i-1}$。
2. 对 $Z_i$ 进行层正则化，得到当前位置的输出 $Y_i''''' \in \mathbb{R}^{5 \times 10}$。

输出：当前位置的输出 $Y_i''''' \in \mathbb{R}^{5 \times 10}$。

5. 掩码多头注意力

输入：残差连接和层正则化的输出 $Y_i''''' \in \mathbb{R}^{5 \times 10}$，掩码矩阵 $M \in \{0, -\infty\}^{5 \times 5}$。

处理过程：同掩码多头注意力中的处理过程。

输出：当前位置的输出 $Y_i \in \mathbb{R}^{10}$。

6. 多头交叉注意力

输入：掩码多头注意力的输出 $Y_i \in \mathbb{R}^{10}$，编码器的输出 $E \in \mathbb{R}^{5 \times 10}$。

处理过程：同多头交叉注意力中的处理过程。

输出：当前位置的输出 $Y_i' \in \mathbb{R}^{10}$。

7. 前馈网络和残差连接和层正则化

输入：多头交叉注意力的输出 $Y_i' \in \mathbb{R}^{10}$。

处理过程：同前馈网络和残差连接和层正则化中的处理过程。

输出：当前位置的输出 $Y_i''''' \in \mathbb{R}^{5 \times 10}$。

最终输出：解码器的输出序列为 $\{Y_1, Y_2, Y_3, Y_4, Y_5\}$，其中 $Y_i'''''$ 表示解码器的第 $i$ 个位置输出的词向量。可以将其转化为对应的词汇表中的词进行翻译。