2018云南大学软件学院研究生课程：线性回归与MLE详解

2018年9月，云南大学软件学院开设了一门研究生课程，名为"人工智能-2-Linear Regression - MLE"，由教师李劲（lijin@ynu.edu.cn）主讲。这门课程是针对人工智能领域的研究生，主要聚焦于线性回归模型及其最大似然估计（Maximum Likelihood Estimation, MLE）方法。 课程的第一章介绍了线性回归模型的基本概念。在二维和高维空间中，线性回归模型表现为直线和超平面，其数学表达式为 \( f(\mathbf{x}) = w_1 \cdot x_1 + w_2 \cdot x_2 + \ldots + w_n \cdot x_n \)，其中权重向量 \( \mathbf{w} \) 是模型参数。目标是通过最小化损失函数（通常是最平方误差），来估计模型参数 \( \mathbf{w} \)。 最大似然估计是一种参数估计方法，适用于已知概率模型（如伯努利分布或正态分布）但参数未知的情况。在这个课程中，学生会学习如何根据观察数据 \( \mathbf{x}_i \) 的独立同分布（IID）样本 \( D \) 来估计模型参数 \( \theta \)。似然函数 \( L(\theta) \) 表示数据由模型产生的概率，而对数似然函数 \( \ln L(\theta) \) 用于求解参数设置，使得数据出现的概率最大。 对于伯努利分布的案例，该课程会深入讲解其0-1分布特性，其中数据 \( x_i \) 只能取两个值（H或T），对应的概率分别为 \( H \sim \theta \) 和 \( T \sim 1-\theta \)。在伯努利分布的极大似然估计中，目标是找到使数据最可能发生的 \( \theta \) 值，即 \( \hat{\theta} \) 通过最大化似然函数或对数似然函数得到。 这门课程提供了一个坚实的统计学基础，让学生理解线性回归模型的构建、参数估计以及最大似然估计方法在实际应用中的重要性，特别是在人工智能领域。通过学习这些概念，研究生能够掌握处理和预测数据的基本工具，为后续的人工智能研究和开发打下坚实的基础。