深度学习与NLP作业：EM算法在三硬币混合模型参数估计中的应用

本次作业SY2106318-深度学习和自然语言处理第二次作业1，主要关注深度学习在自然语言处理中的应用，特别是通过EM算法处理含有隐变量的统计模型。具体任务涉及对混合硬币投掷实验结果的参数估计。 1. 作业内容： 学生孙旭东被要求模拟一个混合硬币系统，其中三种硬币的比例（s1, s2）和各自的正面向上的概率（p, q, r）是未知的。作业的核心是使用EM算法来估计这些参数，同时生成N个投掷结果（01序列），并将估算结果与预设参数进行比较。这不仅要求学生理解和掌握EM算法的工作原理，还要求他们能够实际操作和应用。 2. 相关知识： - EM算法（最大期望算法）：EM算法是一种迭代优化方法，适用于处理含有隐变量或缺失数据的概率模型。它通过E步估计隐变量的后验概率，M步则基于这些估计更新模型参数，以逐步提高似然函数的值。在自然语言处理中，它常用于高斯混合模型、隐马尔可夫模型等复杂模型的参数估计。 - 隐变量：在本题中，隐变量代表硬币A、B、C的概率，即投掷特定硬币的概率。目标是通过观察数据（硬币正面向上的序列）找到最可能的硬币来源，这涉及到对数似然函数的求解和优化。 3. 实验过程： - 数据生成：学生首先需要设定初始的参数值（real_par），然后利用这些参数生成随机的投掷结果序列。在生成过程中，学生需理解如何根据给定的硬币特性（s1, s2, p, q, r）生成模拟数据。 - EM算法步骤：学生需要通过E步计算每个硬币被投掷为正面的概率，接着计算对数似然函数的下界，然后在M步中基于这些估计更新参数。这一过程需要重复进行，直到达到收敛，即找到一个局部最优解。 完成这次作业，学生将不仅加深对深度学习特别是自然语言处理中的EM算法的理解，还能提升实际运用算法解决实际问题的能力。整个过程需要精细的操作和对算法理论的深入理解，以便准确地估计和处理复杂的混合硬币投掷模型。