机器学习笔记：EM算法基础知识与推导

"nb t 31099-2016 风力发电场无功配置及电压控制技术规定" 这篇文档主要讨论的是基础知识，特别是与机器学习中的期望最大化（EM）算法相关的数学概念。EM算法是数据建模的一种常用方法，尤其在处理含有隐藏变量的概率模型时。它通过迭代的方式优化模型参数，使得数据的似然性最大。 首先，文档介绍了数学期望这一概念，它是概率论和统计学的基础。数学期望是所有可能结果的概率与其结果乘积的总和，反映了随机变量平均取值的大小。例如，对于一个公平的六面骰子，其每个点数的期望值是3.5，尽管实际结果不能是3.5。期望值可以区分离散型随机变量（取值为离散的自然数）和连续型随机变量（取值在某一区间内连续）。 接着，文档提到了极大似然估计，这是一种参数估计的方法，通过选取使数据集出现概率最大的参数值。在EM算法中，极大似然估计是寻找最佳模型参数的关键步骤。 然后，文档提及了凸函数与凹函数，它们是优化问题中重要的性质。在数学中，凸函数在任意两点连线的下方，而凹函数在其上方。在EM算法的上下文里，这些函数性质可以帮助理解算法的收敛性和局部最优解的问题。 詹森不等式（Jensen Inequality）也是一个关键概念，它描述了一个关于期望的不等式，指出如果函数是凸的，那么对随机变量的期望值应用该函数通常会小于或等于函数应用于每个随机变量值的加权平均。这个不等式在理解EM算法的迭代过程和证明其收敛性时非常有用。 最后，文档简要提到了EM算法的理论推导，通过一个简单的三枚硬币问题来直观地展示算法的工作原理。EM算法通常包含E步（期望步骤）和M步（最大化步骤），在E步中，通过对隐藏变量进行条件概率的期望估计，更新模型参数；在M步中，基于E步的结果，最大化数据的似然性来更新参数。 整体而言，这篇文档为理解EM算法提供了一个数学基础，包括必要的概率论、统计学和优化理论知识。这为后续深入学习和应用EM算法打下了坚实的基础。