"机器学习笔记word格式"
这篇机器学习笔记主要涵盖了线性回归及其相关扩展，包括梯度下降法、模型评价指标、岭回归、LASSO回归以及ElasticNet，并介绍了最小二乘法和局部加权线性回归。
1. **线性回归**：
线性回归是一种基本的统计学和机器学习模型，用于建立因变量与一个或多个自变量之间的线性关系。其假设函数通常表示为：\( h_\theta(x) = \theta_0 + \theta_1x_1 + ... + \theta_nx_n \)，其中\( \theta \)是模型参数，\( x \)是特征变量。
2. **损失函数和代价函数**：
在线性回归中，常用的损失函数是平方损失，也称为均方误差（MSE），而代价函数是损失函数的平均值，用于衡量模型预测的误差。
3. **梯度下降法**：
梯度下降法是优化模型参数的主要方法，通过迭代更新参数以最小化代价函数。它包括批量梯度下降、随机梯度下降和小批量梯度下降三种形式，分别有不同的计算效率和收敛特性。
4. **模型评价指标**：
- 均方误差（MSE）和均方根误差（RMSE）衡量预测值与真实值之间的平均差异。
- 平方绝对误差（SMAE）和平方绝对百分误差（SMAPE）也是评估精度的指标。
- 确定系数（R^2）表示模型解释数据变异性的比例，值越接近1，拟合效果越好。
5. **岭回归**（L2正则化）：
通过引入L2范数惩罚项，防止模型过拟合，使得模型的复杂度得到控制。迭代公式中包含正则化项，增大λ会使模型更简单。
6. **LASSO回归**（L1正则化）：
L1正则化导致某些模型参数变为0，实现特征选择，同样能防止过拟合。
7. **ElasticNet**：
结合了L1和L2正则化的优点，既能做特征选择又能保持模型的稳定。
8. **最小二乘法**：
最小二乘法求解线性回归问题，通过向量形式的矩阵运算找到最优参数。当设计矩阵可逆时，可以得到闭式解；若不可逆，可通过增加扰动解决。
9. **局部加权线性回归**（LWLR）：
这是一种考虑局部数据影响的回归方法，权重根据数据点与预测点的距离进行设置，更适用于非线性关系和噪声较大的情况。
这些内容构成了基础的线性回归理论框架，是理解机器学习中监督学习算法的关键。学习并掌握这些知识点对于进一步研究更复杂的模型，如神经网络、支持向量机等有着重要的铺垫作用。
我的内容管理
展开
