"这篇内容主要涉及概率图模型,特别是白板推导的第九部分,讨论了概率图模型中的几个关键概念,包括全局、局部和成对的马尔科夫性。此外,还提到了贝叶斯网络、高斯贝叶斯网络、马尔科夫随机场和马尔科夫网络等不同类型的概率图模型。文章涵盖了精确推断和近似推断的方法,如变量消除、信念传播以及马尔科夫蒙特卡洛(MCMC)方法。同时,讨论了如何构建和学习概率图模型,以及利用EM算法处理不完备数据。此外,还强调了决策过程中的边缘概率计算、贝叶斯定理的应用以及条件概率的求解。"
本文探讨的知识点包括:
1. **概率图模型**:这是一种用于表示随机变量之间条件独立性的图形化工具,其中节点代表随机变量,边表示变量之间的依赖关系。
2. **全局马尔科夫性**:所有变量相对于其他变量都是独立的,只要它们的邻居被考虑在内,这种性质称为全局马尔科夫性。
3. **局部马尔科夫性**:每个变量只与其直接相邻的变量有关,而与其它非相邻变量独立,这是局部马尔科夫性。
4. **成对马尔科夫性**:特定两个变量之间的依赖仅通过它们的共同邻居来表达,而不直接依赖于其他变量。
5. **贝叶斯网络**:一种概率图模型,其中边的方向表示了条件概率的父节点到子节点的关系,用于表示条件概率分布。
6. **高斯贝叶斯网络**:一种特殊的贝叶斯网络,其中变量的概率分布是高斯分布,通常用于处理连续变量。
7. **马尔科夫随机场**(Markov Random Field, MRF):在图中,每个节点的状态只与其邻居的状态有关,满足马尔科夫性质。
8. **马尔科夫网络**:与马尔科夫随机场类似,但不要求边是有向的,允许双向依赖。
9. **精确推断**:如变量消除法(Variable Elimination)和信念传播(Belief Propagation),用于在图模型中计算概率分布。
10. **近似推断**:包括马尔科夫蒙特卡洛方法(MCMC)和变分推断(Variational Inference),用于处理大规模问题时的计算效率问题。
11. **EM算法**:用于处理含有隐变量的数据,通过迭代优化来估计模型的参数。
12. **边缘概率**和**联合概率**的计算:在决策过程中,需要计算单个变量的概率以及多个变量一起出现的概率。
13. **条件概率**:在已知某些变量的情况下,计算其他变量的概率,这可以通过贝叶斯定理来实现。
14. **因子分解**:概率图模型的联合概率可以通过图结构中的条件独立性进行分解,简化计算。
这些概念在机器学习、统计学和人工智能等领域有着广泛的应用,尤其是在处理不确定性和推理问题时。