BLAE的HLDA学习笔记：无参贝叶斯推断与主题层次树构建

《HLDA学习笔记》由David M. BLEI撰写，他是LDA领域的知名专家，本文探讨了如何将随机过程应用于无参数贝叶斯推断，构建主题层次树模型。在2012年9月17日的学习笔记中，作者概述了一种新颖的方法，即在贝叶斯非参数统计（BNP）框架下，先验和后验分布不再依赖于参数的具体分布形式，而是表现为一般随机过程，从而扩展了推断的维度限制。 文章的核心内容包括对随机过程和贝叶斯无参数统计基础的回顾，特别提到了Chinese Restaurant Process (CRP) 和 Dirichlet Process Mixture (DPM) 的基础知识，如Aldous（1985年）的CRP模型和Antoniak（1974年）的DPM模型。然而，作者在此阶段并未深入这些复杂的数学公式，选择暂时跳过。 接着，文章介绍了Nested Chinese Restaurant Process (nCRP)，这是nCRP的一个扩展，它在Bayesian nonparametric statistics 中得到广泛应用，因为它允许从无限数量的位置类别中动态构建统计模型。nCRP的过程形象地描绘了一个拥有无限餐厅和无限餐桌的城市，每个餐厅代表一个主题，其桌面上的卡片记录着其他餐厅的信息，形成层次结构。 nCRP模型的构造有助于在无预设主题层次的情况下，根据单一输入数据（例如JACM 1987-2004年间536个论文摘要）发现不同领域内的主题层次结构。模型通过为文档定义概率模型，而非硬性设定主题层次，实现了统计上的自适应性和灵活性。 文章的结构分为七个部分：回顾背景、CRP和DPM简介、nCRP过程介绍、层次主题模型中的拓扑应用、近似后验推断算法、样本和经验评估以及相关工作的总结与讨论。这表明作者在深入理解这些理论的同时，也关注实际应用和效果验证。 这篇学习笔记不仅介绍了关于nCRP的理论细节，还展示了其在实际问题中的应用潜力，对于理解和实践无参数贝叶斯主题模型具有较高的参考价值。