罗列以下BART预训练模型的公式

BART（Bidirectional and Auto-Regressive Transformer）是一种基于Transformer结构的预训练语言模型，其公式包括：

1. Encoder层公式：

$$\text{MultiHead}(Q,K,V)=\text{Concat}(head_1,...,head_h)W^O$$

$$head_i=\text{Attention}(QW_i^Q,KW_i^K,VW_i^V)$$

$$\text{Attention}(Q,K,V)=\text{softmax}(\frac{QK^T}{\sqrt{d_k}})V$$

其中，$Q,K,V$分别为Query、Key和Value矩阵，$W_i^Q,W_i^K,W_i^V$为对应的权重矩阵，$head_i$表示第$i$个头部的输出，$W^O$为输出矩阵。

2. Decoder层公式：

与Encoder层的公式类似，但在计算$head_i$时加入了Mask操作，用于屏蔽未来的信息。

3. BART模型公式：

BART模型包含Encoder和Decoder两个部分，其中Encoder使用的是Masked Language Modeling（MLM）任务，Decoder使用的是Conditional Generation任务（CG），其公式如下：

$$\text{CG}(x_{1:T}|y_{1:t})=\prod_{i=1}^{T}\text{P}(x_i|x_{<i},y_{1:t})$$

其中，$x_{1:T}$表示待生成的文本，$y_{1:t}$表示已知的文本，$\text{P}(x_i|x_{<i},y_{1:t})$表示生成下一个单词$x_i$的概率。

4. BART训练公式：

BART模型训练时使用的是对抗生成网络（GAN），其生成器G和判别器D的训练公式如下：

$$\min_G\max_D\text{E}_{x\sim P_{\text{data}}}[D(x)]+\text{E}_{z\sim P_{\text{noise}}}[1-D(G(z))]$$

其中，$P_{\text{data}}$表示真实数据的分布，$P_{\text{noise}}$表示噪声的分布。训练过程中，生成器G的目标是最大化判别器D判别生成的文本为真实数据的概率，而判别器D的目标是最小化生成器G生成的文本与真实数据之间的差异。