离散与连续概率分布详解：伯努利、二项与多项分布

本文档主要介绍了在机器学习领域中常见的几种离散概率分布，包括离散均匀分布、伯努利分布、二项分布和多项分布，以及它们在实际应用中的含义和特性。 1. **离散均匀分布** (Discrete Uniform Distribution): 这是一种随机变量在有限个取值中等概率出现的分布。其特点是所有可能的取值概率都相等。概率质量函数和累积分布函数分别对应每个取值的概率和累计到该值为止的概率。期望和方差反映了分布的中心趋势和离散程度。 2. **伯努利分布** (Bernoulli Distribution): 也称为0-1分布，用于描述二元随机变量的成功与失败情况，如某个事件发生的概率。成功概率记为p，失败概率为q，期望表示成功的平均次数，方差衡量了结果的不确定性。在机器学习中，伯努利分布常用于模型如逻辑回归中的二分类问题。 3. **二项分布** (Binomial Distribution): 当进行n次独立且有固定成功的概率p的伯努利试验时，成功次数的分布为二项分布。其概率质量函数和累积分布函数具有特定的公式，期望和方差反映了成功次数的期望和变异性。伯努利分布是二项分布的特殊情形，当n=1时。 4. **多项分布** (Multinomial Distribution): 是二项分布的扩展，适用于k种可能的结果，描述在n次独立重复试验中每种结果出现的次数。多项分布的概率质量函数基于各结果出现次数的组合，期望和方差描述了结果出现的总体模式。 5. **多诺利分布** (Multinoulli Distribution) 或称范畴分布，是多项分布的特殊情况，当试验次数n固定为1时。它描述了一个离散随机变量有k个类别时取每个类别的概率。这种分布常用于多分类问题，且在机器学习文献中，“多项式分布”通常指的就是多诺利分布。 总结来说，这些概率分布是理解机器学习中数据建模和预测的基础工具，它们在各种场景下提供了一种数学框架来量化不确定性，如预测单次事件的结果（伯努利）、多次事件的成功次数（二项）、多种可能结果的组合（多项），以及在有限试验次数下的分类概率（多诺利）。通过深入理解和掌握这些分布，可以更有效地设计和优化模型，提高预测精度。