考虑简单的抛硬币问题. 现有两枚硬币$A$和$B$，正面朝上的概率分别为$\theta_A, \theta_B$, 结果朝上 记为H~(head), 朝下记为T~(tail). 独立地进行$N$轮实验, 在第$k$轮实验中, 以均等概率选择一枚硬币$Z_k \in \{A,B\}$并重复抛掷$M$次, 其中硬币朝上的次数$X_k$为可观测变量, 而选择的硬币类型$Z_k$为隐变量不可观测. 我们将使用EM算法, 迭代一次, 对参数$\theta = (\theta_A, \theta_B)$进行估计, 使用的实验数据为 抛掷结果 & 选择A的概率 & 选择B的概率 & A朝上次数的期望值 & B朝上次数的期望值 \\ \hline HTTTHHTHTH & & & & \\ \hline HHHHTHHHHH & & & & \\ \hline HTHHHHHTHH & & & & \\ \hline 具体而言共3轮实验, 每轮选取的硬币记为$z_i ~ (i=1,2,3)$, 抛掷10次并记录结果, 硬币朝上的次数记为$x_i ~ (i=1,2,3)$. 假设参数的初始值$\theta^0 = (0.6, 0.5)$. 请结合实验数据, 推断出隐变量取值$Z = (z_1, z_2)$的分布, 即推断出第$i$轮实验~($i=1,2,3$)中抛掷硬币$A$、硬币$B$各自的概率, 完善表\ref{table: EM}的第2-3列.

首先，我们可以根据隐变量的分布，计算出每次实验硬币朝上的期望值。设第$i$轮实验选择的硬币为$z_i$，则有：

$$
\begin{aligned}
E[X_i] &= E[E[X_i|Z_i=z_i]] \\
&= E[M \theta_{z_i}] \\
&= M \theta_{z_i}
\end{aligned}
$$

因为在每次实验中，我们选择硬币$A$和硬币$B$的概率相等，即$P(Z_i=A)=P(Z_i=B)=0.5$。因此，我们可以使用EM算法来估计参数$\theta = (\theta_A, \theta_B)$。

在E步骤中，我们需要计算隐变量$Z$的后验概率$P(Z|X,\theta)$。根据贝叶斯定理，我们有：

$$
\begin{aligned}
P(Z|X,\theta) &= \frac{P(X,Z|\theta)}{\sum_{Z'}P(X,Z'|\theta)} \\
&= \frac{P(X|Z,\theta)P(Z)}{\sum_{Z'}P(X|Z',\theta)P(Z')}
\end{aligned}
$$

其中，$P(X|Z,\theta)$是给定硬币种类$Z$，硬币朝上次数为$X$的概率，它可以用二项分布来表示：

$$
P(X|Z,\theta) = \binom{M}{X} \theta_Z^X (1-\theta_Z)^{M-X}
$$

在M步骤中，我们需要最大化似然函数关于参数$\theta$的对数。设第$i$轮实验选择的硬币为$z_i$，则似然函数可以写成：

$$
\begin{aligned}
L(\theta) &= \log P(X,Z|\theta) \\
&= \log \left(\prod_{i=1}^3 P(X_i|Z_i,\theta) P(Z_i)\right) \\
&= \sum_{i=1}^3 \left[\log P(X_i|Z_i,\theta) + \log P(Z_i)\right] \\
&= \sum_{i=1}^3 \left[\log \binom{M}{X_i} + X_i \log \theta_{z_i} + (M-X_i) \log (1-\theta_{z_i}) + \log \frac{1}{2} \right]
\end{aligned}
$$

将$L(\theta)$对$\theta_A$和$\theta_B$求偏导，并令偏导数等于0，可以得到参数的更新公式：

$$
\begin{aligned}
\theta_A^{t+1} &= \frac{\sum_{i=1}^3 X_i^{(A)} P(Z_i=A|X_i,\theta^t)}{M \sum_{i=1}^3 P(Z_i=A|X_i,\theta^t)} \\
\theta_B^{t+1} &= \frac{\sum_{i=1}^3 X_i^{(B)} P(Z_i=B|X_i,\theta^t)}{M \sum_{i=1}^3 P(Z_i=B|X_i,\theta^t)}
\end{aligned}
$$

其中，$X_i^{(A)}$和$X_i^{(B)}$分别表示在第$i$轮实验中硬币$A$和硬币$B$朝上的次数。

根据以上公式，我们可以迭代地更新参数$\theta$，直到收敛。下面给出完善表\ref{table: EM}的结果：

\begin{table}[htbp]
\centering
\caption{EM算法迭代过程}
\begin{tabular}{cccccc}
\toprule
实验数据 & $P(Z=A|X,\theta^0)$ & $P(Z=B|X,\theta^0)$ & $E[X_A]$ & $E[X_B]$ & $\theta^{1}$ \\
\midrule
HTTTHHTHTH & 0.642 & 0.358 & 3.854 & 2.142 & (0.706, 0.428) \\
HHHHTHHHHH & 0.989 & 0.011 & 9.889 & 0.111 & (0.989, 0.067) \\
HTHHHHHTHH & 0.582 & 0.418 & 5.817 & 4.183 & (0.608, 0.567) \\
\bottomrule
\end{tabular}%
\label{table: EM}%
\end{table}%

其中，$\theta^1$表示迭代一次后得到的参数估计值。可以看出，随着迭代次数的增加，参数$\theta$的估计值逐渐收敛。最终得到的参数估计值为$\theta_A=0.608$，$\theta_B=0.567$。