LDA算法漫游指南：数学背景、实践应用与技术启发

需积分: 0 192 浏览量更新于2024-06-30 收藏 9.54MB PDF 举报

LDA算法漫游指南 v2.01 本资源是关于LDA算法的详细指南，涵盖了LDA算法的背景、前置知识、理论推导、实践应用等多个方面。该指南旨在帮助读者深入了解LDA算法的原理和应用，提高读者的技术水平和研究能力。背景知识点： 1. 二项分布和Beta分布的关系：本节内容介绍了二项分布和Beta分布的定义、性质和关系，为后续的LDA算法理论推导奠定了基础。 2. LDA算法的数学背景：本节内容介绍了LDA算法的数学背景，包括概率论、统计学和线性代数等方面的知识，为读者提供了solid的数学基础。理论推导点： 1. LDA算法的定义和原理：本节内容介绍了LDA算法的定义、原理和性质，包括主题模型、词袋模型和Dirichlet分布等概念。 2. LDA算法的数学推导：本节内容介绍了LDA算法的数学推导，包括吉布斯采样、 variational inference和 expectation-maximization 等方法。实践应用点： 1. LDA算法的实现方法：本节内容介绍了LDA算法的实现方法，包括如何使用Python和R语言来实现LDA算法。 2. LDA算法在大数据环境下的应用：本节内容介绍了LDA算法在大数据环境下的应用，包括如何使用Hadoop和Spark来实现LDA算法。特色点： 1. 理论与实践并重：本指南不仅仅介绍了LDA算法的理论知识，还提供了实践应用的指导，帮助读者更好地理解和应用LDA算法。 2. 作者独到的见解：本指南作者对LDA算法有独到的见解和理解，提供了丰富的理论分析和实践经验。 3. 阅读灵活性：本指南提供了灵活的阅读体验，读者可以根据自己的需求选择阅读顺序和内容，满足不同读者的需求。本资源摘要信息为读者提供了一个系统的LDA算法学习指南，涵盖了理论推导、实践应用和特色点等多个方面，帮助读者深入了解LDA算法的原理和应用。

第 2 章前置知识

2.4 多项分布(multinomial distribution)

多项分布

是二项分布的推广扩展，在 n 次独立试验中每次只输出 k 种结果

中的一个，且每种结果都有一个确定的概率 p。多项分布给出了在多种输出状态

的情况下，关于成功次数的各种组合的概率。

举个例子，投掷 n 次骰子，这个骰子共有 6 种结果输出，且 1 点出现概率为

，2 点出现概率 p

，…多项分布给出了在 n 次试验中，骰子 1 点出现 x

次，2

点出现 x

次,3 点出现 x

次，…，6 点出现 x

次。这个结果组合的概率为：

1 1 1 1



  



  













(2-8)

也可以用 gamma 函数表示（这个写法的形式和 Dirichlet 分布相似）：













(2-9)

下面我们通过一个例题加深对多项分布的印象:

 问题：同时投掷 5 枚骰子，出现两对点数一样的概率是多少？

解：现在先把问题简化成特定投掷到 2 个一点，2 个二点，1 个三点的概率

是多大？

到 X

表示六个点的出现次数之和为 5，则：

2 2 1 0 0 0

1 2 3 4 5 6

5 1 1 1 1 1 1

2 2 1 0 0 0

2 2 1 0 0 0 6 6 6 6 6 6

P(X       

这里 0!=1

1296



再考虑，现在 X

到 X

其中 2 个取 2,1 个取 1 的种类有多少种？

陈希孺《概率论与数理统计》 p60, p67-例 2.7

第 2 章前置知识

“可以换成 gamma 函数”的条件反射。

我们下面给出公式(2-11)的证明。

证明：

2.6 共轭先验分布(conjugacy prior)

In Bayesian probability theory, if the posterior distributions p(



|x) are in the same

family as the prior probability distribution p(



), the prior and posterior are then called

conjugate distributions, and the prior is called a conjugate prior for the likelihood

function.

所谓的共轭，只是我们选取(choose)一个函数作为似然函数(likelihood

function)的 prior probability distribution，使得后验分布函数

(posterior

distributions)和先验分布函数形式一致。比如 Beta 分布是二项式分布的共轭先验

概率分布，而狄利克雷分布(Dirichlet 分布）是多项式分布的共轭先验概率分

布。为什么要这样做呢？这得从贝叶斯估计

[4]

谈起：

根据贝叶斯规则，后验分布=似然函数*先验分布

   

  

  



(2-12)

参数估计是一个重要的话题。对于典型的离散型随机变量分布：二项式分

布，多项式分布；典型的连续型随机变量分布：正态分布。他们都可以看着是参

数分布，因为他们的函数形式都被一小部分的参数控制，比如正态分布的均值和

方差，二项式分布事件发生的概率等。因此，给定一堆观测数据集（假定数据满

足独立同分布），我们需要有一个解决方案来确定这些参数值的大小，以便能够

利用分布模型来做密度估计。这就是参数估计！

对于参数估计，一直存在两个学派的不同解决方案。一是频率学派解决方

案：通过某些优化准则（比如似然函数）来选择特定参数值；二是贝叶斯学派解

决方案：假定参数服从一个先验分布，通过观测到的数据，使用贝叶斯理论计算

http://en.wikipedia.org/wiki/Conjugate_prior

后验之意为执果索因，2.6 节其实是贝叶斯估计，欲了解更多，参见陈希孺《概率论与数理统计》p155

批注 [cm2]: 加上证明

第 2 章前置知识



   





























   







(2-13)

这就可以看到后验分布(post distribution)又变为 beta 分布，也就是和先验

(prior distribution)一致了，因此我们称之为共轭(conjugacy)。

观察到后验和先验都是 beta 分布，但



变为了





，超参数变了。如果以后有新增的观测值，后验分布又可

作为先验分布来进行计算。具体来讲，在某一个时间点，有一个观测值，此时可

以得到后验，之后，每一个观测值的到来，都以之前的后验作为先验，乘以似然

函数后，得到修正后的新后验。在这每一步中，其实我们不需要管什么似然函

数，我们可以将后验分布看作是以代表 x=1 出现“次数”的参数 s 和代表 x=0

出现“次数”的参数 f 为参数的 beta 分布：当有一个新的 x=1 的观测量到来的

时候，s=



+1,f=



，即



的值相应的加 1;否则 s=



, f=



+ 1 即



的值加 1。所以这

也就是超参数(





)又被称之为伪计数(pseudo count)的原因。

我们可以把上面性质所表示的方法看作为序列方法（sequential approach），

该方法是贝叶斯观点中很自然得到的学习方法。它非常适合实时学习场景。在某

一时刻，有一个观测数据，或是一小批量数据，在下一批观测数据到来之前我们

就可以丢弃它们，因为我们可以在一开始的小批量数据中得到我们的后验分布模

型，当有新的一批数据到来时，只需要更新这个模型就够了。一个实时学习应用

场景是：在所有数据到来之前，预测就必须通过之前稳定到达的一部分数据流来

做出预测。注意到，因为这种序列方法不需要将所有数据都载入内存，因此他在

大数据的应用将非常有效。当然，之前频率学派所使用的最大化似然函数方法也

可以转换成这种序列式方法的。

另外，我们做先验分布的目的是估计参数，比如投掷硬币试验，我们需要根

据已有的观测数据，估计下一次试验硬币的正面结果概率是多少。

      

    



(2-14)

剩余147页未读，继续阅读

阿葱的葱白

粉丝: 30
资源: 311

LDA算法漫游指南：数学背景、实践应用与技术启发

最新资源