云南大学软件学院研究生课程：2018年人工智能第一讲——线性回归详解

云南大学软件学院在2018年9月开设了一门由李劲老师讲授的研究生课程《人工智能》，课程内容聚焦于线性模型的基础部分，特别是线性回归。李劲老师的邮箱为lijin@ynu.edu.cn。这门课程的目标是让学生理解线性回归的基本原理和应用。 线性回归是统计学和机器学习中的基础方法，它建立在观察数据集（\( \mathbf{X}_i, t_i \), \( i=1, \ldots, n \)）的基础上，其中每个样本 \( (\mathbf{x}_i, t_i) \) 属于实数域 \( \mathbb{R} \)，表示自变量和因变量之间的关系。线性回归模型假设存在一个超平面，通过参数向量 \( \mathbf{w} = (w_0, w_1, \ldots, w_d) \) 来拟合数据，使得预测值 \( f(\mathbf{x}) = w_0 + w_1x_1 + \cdots + w_dx_d \) 尽可能接近实际观测值 \( t \)。这种模型试图找到一个最小化误差的解决方案，误差通常用损失函数（如均方误差）衡量，即 \( L(\mathbf{w}) = \frac{1}{n}\sum_{i=1}^{n}(t_i - f(\mathbf{x}_i))^2 \)。 课程的第一章深入讲解了线性回归模型的优化方法，包括梯度下降法（Gradient-based optimization）和正规方程（Normal equation），这两种方法用于求解参数向量 \( \mathbf{w} \)，使得损失函数达到最小。在二维和高维空间中，线性回归分别对应于直线和超平面，目标是找到最优的权值组合，使得预测值与观测值之间的偏差最小化。 在多元函数的背景下，课程会涉及到偏导数的概念，这是求解多变量函数局部极值的关键工具。通过计算各偏导数，我们可以确定在特定点上的最优方向，这对于优化线性回归问题至关重要。 这门研究生课程不仅涵盖了线性回归的基本理论，还教授了其实现优化的两种常见方法，帮助学生掌握了这个核心统计技术，并能在人工智能领域中应用到诸如预测分析、数据分析等场景中。对于对人工智能有兴趣的研究生来说，这是一个深入理解并实践机器学习基础的好机会。