互信息与贝叶斯算法复习：从相对熵到朴素贝叶斯分类

"本文档主要复习了互信息和贝叶斯算法相关的概念，包括互信息的定义、相对熵的解释以及朴素贝叶斯分类和概率图模型的介绍，特别是贝叶斯网络的各种类型。此外，还提及了对偶问题的概念和K近邻图的特点。" 在机器学习领域，互信息和贝叶斯算法是重要的理论基础。互信息（Mutual Information, MI）是衡量两个随机变量X和Y之间相互依赖程度的一个量，它通过比较X和Y的联合分布P(X,Y)与它们独立时的分布乘积P(X)P(Y)的相对熵（Kullback-Leibler Divergence）来定义。公式表示为：I(X,Y) = D(P(X,Y) || P(X)P(Y))。这个度量是非对称的，即I(X,Y)不一定等于I(Y,X)，并且当X和Y完全独立时，互信息为0。 相对熵，又称为Kullback-Leibler散度，是一个度量两个概率分布p(x)和q(x)差异的量，其公式为D(p||q) = ∑_x p(x) log(p(x)/q(x))。它不是真正的距离度量，但在某些情况下可以用来大致估计两个分布的相似性。值得注意的是，相对熵是单向的，即D(p||q)通常不等于D(q||p)。 文档中还提及了朴素贝叶斯分类，这是一种基于贝叶斯定理和特征条件独立假设的分类方法。在朴素贝叶斯分类中，我们首先计算每个类别的先验概率，然后利用特征条件概率计算后验概率，以此来决定样本最可能属于哪个类别。 概率图模型（Probabilistic Graphical Models, PGM）是一种用于表示和推理复杂概率分布的工具，其中贝叶斯网络是重要的一类。贝叶斯网络可以是链式结构、树形结构或因子图形式，它们描述了随机变量之间的条件依赖关系。非树形网络可以通过一些算法，如Summary-Product算法，转换成树形网络以简化推理过程。 此外，文档还提到了对偶问题的概念，这是在面对原问题不易求解时，通过转换得到与原问题等价的另一个问题，从而解决问题的方法。例如，在一个寻找特定数值和的组合问题中，可以通过构建对偶问题来求解。 最后，文档涉及到了马尔科夫链和隐马尔科夫模型（HMM），它们是序列数据建模的常用工具，具有特定的网络拓扑结构和含义。 这篇资料深入复习了信息论中的关键概念，并与贝叶斯方法和概率图模型相结合，为理解和应用这些理论提供了坚实的基础。