机器学习基础：参数估计与矩阵运算中的期望、方差与协方差

"参数估计与矩阵运算基础" 这篇资料主要涵盖了概率论与数理统计中的基本概念，特别是与机器学习相关的参数估计和统计量的计算，包括期望、方差、协方差等。以下是这些概念的详细说明： 1. **期望（Expectation）**: - **离散型随机变量**的期望是所有可能值乘以其对应的概率的和，表示为：\( E(X) = \sum_{i} x_i p_i \)。 - **连续型随机变量**的期望是函数在全实数域上的积分，表示为：\( E(X) = \int_{-\infty}^{\infty} x f(x) dx \)，其中 \( f(x) \) 是随机变量 \( X \) 的概率密度函数。 2. **期望的性质**: - 期望对任何常数 \( c \) 都满足线性性质：\( E(c) = c \)，\( E(cX) = cE(X) \)。 - 如果两个随机变量 \( X \) 和 \( Y \) 相互独立，则它们的期望满足：\( E(X + Y) = E(X) + E(Y) \)，\( E(XY) = E(X)E(Y) \)。 3. **方差（Variance）**: - 方差是衡量随机变量波动程度的量，定义为：\( Var(X) = E[(X - E[X])^2] \)。 - 方差的非负性：对于任何随机变量 \( X \)，\( Var(X) \geq 0 \)，且当 \( X \) 是常数时，方差为零。 - 方差的线性性质：若 \( k \) 是常数，那么 \( Var(kX) = k^2 Var(X) \)。 - 当 \( X \) 和 \( Y \) 独立时，它们的联合方差等于它们各自方差的和：\( Var(X + Y) = Var(X) + Var(Y) \)。 4. **协方差（Covariance）**: - 协方差用于衡量两个随机变量一起变化的程度，定义为：\( Cov(X,Y) = E[(X - E[X])(Y - E[Y])] \)。 - 若 \( X \) 和 \( Y \) 独立，其协方差为零：\( Cov(X,Y) = 0 \)。 - 协方差的性质包括线性变换、交换性和加法性质，例如：\( Cov(aX + bY, cZ) = ac Cov(X,Z) + bc Cov(Y,Z) \)，\( Cov(X,Y) = Cov(Y,X) \)，如果 \( X \) 和 \( Y \) 独立，\( E[XY] = E[X]E[Y] \)。 5. **协方差的意义**: - 协方差的符号指示了两个随机变量的同向或逆向变动。正值表示正相关，负值表示负相关，零表示不相关。 - 协方差的绝对值大小可以反映两个随机变量的相关程度，但没有明确的上限。 这些基础知识在机器学习中至关重要，因为它们被用来理解和估计模型参数，如在最大似然估计、最小二乘法等方法中。同时，这些统计量也常用于评估预测模型的性能，例如通过计算特征之间的相关性来选择特征，或者通过协方差矩阵进行主成分分析（PCA）等降维技术。在实际应用中，理解和掌握这些概念有助于更好地构建和理解机器学习模型。