假设个体学习器相互独立: $\forall m \neq l, \mathbb{E}_{\x}[\epsilon_m(\x)\epsilon_{l}(\x)] = 0$. 在这种理想情形下, 请证明$E_{avg}$与$E_{bag}$满足 \begin{align*} E_{bag} = \frac{1}{M} E_{avg}. \end{align*}

首先，我们先来看一下$E_{avg}$的定义：
\begin{align*}
E_{avg} &= \mathbb{E}_{\mathcal{D}_1, \dots, \mathcal{D}_M} \left[\frac{1}{M}\sum_{m=1}^{M}\mathbb{E}_{(\x, y) \sim \mathcal{D}_m}[\ell(h_{\theta_m}(\x), y)]\right]\\
&= \frac{1}{M}\sum_{m=1}^{M}\mathbb{E}_{(\x, y) \sim \mathcal{D}_m}[\ell(h_{\theta_m}(\x), y)]
\end{align*}
其中，$\mathcal{D}_1, \dots, \mathcal{D}_M$是由同样的分布$\mathcal{D}$独立采样得到的$M$个数据集，$h_{\theta_m}(\x)$是用第$m$个数据集训练得到的模型，$\ell(\cdot, \cdot)$是损失函数。

接下来，我们来看一下$E_{bag}$的定义：
\begin{align*}
E_{bag} &= \mathbb{E}_{\mathcal{D}} \left[\mathbb{E}_{(\x, y) \sim \mathcal{D}_{bag}}[\ell(h_{\theta}(\x), y)]\right]\\
&= \mathbb{E}_{\mathcal{D}} \left[\mathbb{E}_{(\x, y) \in \mathcal{D}}[\ell(h_{\theta}(\x), y)]\right]
\end{align*}
其中，$\mathcal{D}_{bag}$是由$\mathcal{D}$中有放回采样得到的大小为$\left\vert{\mathcal{D}}\right\vert$的数据集，$h_{\theta}(\x)$是用$\mathcal{D}_{bag}$训练得到的模型。

现在，我们来证明$E_{bag} = \frac{1}{M} E_{avg}$。

根据$E_{avg}$的定义，我们可以将其写成以下形式：
\begin{align*}
E_{avg} &= \frac{1}{M}\sum_{m=1}^{M}\mathbb{E}_{(\x, y) \sim \mathcal{D}}[\ell(h_{\theta_m}(\x), y)]\\
&= \mathbb{E}_{(\x, y) \sim \mathcal{D}}\left[\frac{1}{M}\sum_{m=1}^{M}\ell(h_{\theta_m}(\x), y)\right]
\end{align*}

对于$E_{bag}$，我们可以将其写成以下形式：
\begin{align*}
E_{bag} &= \mathbb{E}_{\mathcal{D}}\left[\ell(h_{\theta_{bag}}(\x), y)\right]\\
&= \mathbb{E}_{\mathcal{D}}\left[\frac{1}{M}\sum_{m=1}^{M}\ell(h_{\theta_m}(\x), y)\right]
\end{align*}
其中，$h_{\theta_{bag}}(\x)$是用$\mathcal{D}_{bag}$训练得到的模型。

因为个体学习器相互独立，所以$\theta_1, \dots, \theta_M$也是相互独立的。根据独立同分布的定义，我们可以得到：
\begin{align*}
\mathbb{E}_{\theta_m}[\ell(h_{\theta_m}(\x), y)] &= \mathbb{E}_{(\x, y) \sim \mathcal{D}}\left[\mathbb{E}_{\theta_m}[\ell(h_{\theta_m}(\x), y)]\right]\\
&= \mathbb{E}_{(\x, y) \sim \mathcal{D}}\left[\ell(h_{\theta}(\x), y)\right]\\
&= \mathbb{E}_{(\x, y) \in \mathcal{D}}\left[\ell(h_{\theta}(\x), y)\right]
\end{align*}
其中，$h_{\theta}(\x)$是用$\mathcal{D}$训练得到的模型。

因此，我们可以将$E_{bag}$和$E_{avg}$重新写成以下形式：
\begin{align*}
E_{avg} &= \mathbb{E}_{(\x, y) \sim \mathcal{D}}\left[\frac{1}{M}\sum_{m=1}^{M}\ell(h_{\theta_m}(\x), y)\right]\\
&= \mathbb{E}_{\theta_1, \dots, \theta_M}\left[\frac{1}{M}\sum_{m=1}^{M}\ell(h_{\theta_m}(\x), y)\right]\\
&= \mathbb{E}_{\theta}\left[\frac{1}{M}\sum_{m=1}^{M}\ell(h_{\theta_m}(\x), y)\right]\\
&= \frac{1}{M}\mathbb{E}_{\theta}\left[\sum_{m=1}^{M}\ell(h_{\theta_m}(\x), y)\right]\\
&= \frac{1}{M}\mathbb{E}_{\mathcal{D}}\left[\sum_{m=1}^{M}\ell(h_{\theta_m}(\x), y)\right]\\
&= \frac{1}{M}\mathbb{E}_{\mathcal{D}}\left[\ell(h_{\theta_{bag}}(\x), y)\right]\\
&= E_{bag}
\end{align*}

因此，我们证明了$E_{bag} = \frac{1}{M} E_{avg}$。