"参数估计与矩阵运算基础"
这篇资料主要涵盖了概率论与数理统计中的基本概念,特别是与机器学习相关的参数估计和统计量的计算,包括期望、方差、协方差等。以下是这些概念的详细说明:
1. **期望(Expectation)**:
- **离散型随机变量**的期望是所有可能值乘以其对应的概率的和,表示为:\( E(X) = \sum_{i} x_i p_i \)。
- **连续型随机变量**的期望是函数在全实数域上的积分,表示为:\( E(X) = \int_{-\infty}^{\infty} x f(x) dx \),其中 \( f(x) \) 是随机变量 \( X \) 的概率密度函数。
2. **期望的性质**:
- 期望对任何常数 \( c \) 都满足线性性质:\( E(c) = c \),\( E(cX) = cE(X) \)。
- 如果两个随机变量 \( X \) 和 \( Y \) 相互独立,则它们的期望满足:\( E(X + Y) = E(X) + E(Y) \),\( E(XY) = E(X)E(Y) \)。
3. **方差(Variance)**:
- 方差是衡量随机变量波动程度的量,定义为:\( Var(X) = E[(X - E[X])^2] \)。
- 方差的非负性:对于任何随机变量 \( X \),\( Var(X) \geq 0 \),且当 \( X \) 是常数时,方差为零。
- 方差的线性性质:若 \( k \) 是常数,那么 \( Var(kX) = k^2 Var(X) \)。
- 当 \( X \) 和 \( Y \) 独立时,它们的联合方差等于它们各自方差的和:\( Var(X + Y) = Var(X) + Var(Y) \)。
4. **协方差(Covariance)**:
- 协方差用于衡量两个随机变量一起变化的程度,定义为:\( Cov(X,Y) = E[(X - E[X])(Y - E[Y])] \)。
- 若 \( X \) 和 \( Y \) 独立,其协方差为零:\( Cov(X,Y) = 0 \)。
- 协方差的性质包括线性变换、交换性和加法性质,例如:\( Cov(aX + bY, cZ) = ac Cov(X,Z) + bc Cov(Y,Z) \),\( Cov(X,Y) = Cov(Y,X) \),如果 \( X \) 和 \( Y \) 独立,\( E[XY] = E[X]E[Y] \)。
5. **协方差的意义**:
- 协方差的符号指示了两个随机变量的同向或逆向变动。正值表示正相关,负值表示负相关,零表示不相关。
- 协方差的绝对值大小可以反映两个随机变量的相关程度,但没有明确的上限。
这些基础知识在机器学习中至关重要,因为它们被用来理解和估计模型参数,如在最大似然估计、最小二乘法等方法中。同时,这些统计量也常用于评估预测模型的性能,例如通过计算特征之间的相关性来选择特征,或者通过协方差矩阵进行主成分分析(PCA)等降维技术。在实际应用中,理解和掌握这些概念有助于更好地构建和理解机器学习模型。