广义线性模型GLM：从线性回归到Logistic回归

"这篇资料主要介绍了广义线性模型GLM以及线性回归和最优化方法，包括梯度下降、牛顿法和拟牛顿法。同时，还探讨了线性回归的解析解以及局部加权线性回归，并对比了参数学习算法与非参数学习算法。此外，资料还涉及了Logistic回归及其参数估计过程。" 广义线性模型（GLM）是一种扩展了传统线性回归模型的统计模型，适用于因变量不再遵循正态分布的情况。在GLM中，因变量y服从指数族分布，如泊松分布、二项分布或正态分布等。模型的构建不是直接解释因变量y的均值u，而是通过一个联系函数g(u)来描述，这个联系函数要求是连续、单调且可导的，例如对数函数在逻辑回归中被广泛应用。 线性回归是预测连续数值型因变量的基础方法，其基本形式是y = ax + b，其中a是斜率，b是截距。当存在多个自变量时，会形成多元线性回归，形式为y = θTx + c，其中θ是参数向量，x是自变量向量。最小二乘法是求解线性回归参数的常用方法，通过最小化误差平方和来估计参数。 最优化问题在机器学习中至关重要，包括梯度下降、牛顿法和拟牛顿法。梯度下降是最常用的优化算法之一，通过沿着目标函数梯度的反方向更新参数来逐步减小损失函数。批处理梯度下降和随机梯度下降是两种不同的实现方式，前者在每次迭代时使用所有样本，而后者只使用一个样本，适用于大数据集。 对于某些特殊情况，线性回归问题可以通过求解导数等于0的方程来获得参数θ的解析解，但当设计矩阵XTX不可逆或维度过高时，仍需借助数值方法，如梯度下降。 局部加权线性回归（LWR）是一种非参数方法，它利用权重函数（如高斯核）来赋予近邻样本更大的影响，带宽τ决定了权重随距离的衰减速度。 参数学习算法如线性回归和Logistic回归，通过学习固定数量的参数来建模数据，而非参数学习算法不预先设定模型结构，如K近邻法和决策树，它们的复杂度随数据量自动调整。 Logistic回归是一种分类方法，利用Logistic函数将线性组合转换为概率估计。通过对数似然函数进行参数估计，并通过迭代优化算法（如梯度上升法）找到最优参数。Logistic回归适用于二分类问题，其输出是对因变量属于某一类的概率估计。 这个资料涵盖了从基础的线性回归到复杂的广义线性模型，以及最优化方法和分类模型的理论和应用，是理解机器学习中这些核心概念的良好资源。