Glmnet数学表示

GLMNet（Generalized Linear Model with Elastic Net Regularization）是一种广义线性模型（Generalized Linear Models, GLMs），它结合了岭回归（L2正则化）和LASSO（L1正则化）的优点，通过Elastic Net技术来实现变量选择和系数估计。在数学上，GLMNet的目标函数通常可以表示为：

对于二分类问题，损失函数加上L1和L2正则化的组合形式可以写作：
\[
\min_{\beta} \left[ \frac{1}{n} \sum_{i=1}^{n}(y_i - X_i'\beta)^2 + \lambda_1(1-\alpha)||\beta||_1 + \lambda_2\alpha ||\beta||^2_2 \right]
\]

这里：
- \( y_i \) 是第i个观测值，
- \( X_i \) 是第i行特征向量，
- \( \beta \) 是模型参数向量，
- \( n \) 是样本数，
- \( \lambda_1 \) 和 \( \lambda_2 \) 分别控制L1和L2正则化的强度，
- \( \alpha \) 是两个正则项的比例参数，\( \alpha = 0 \) 时是Lasso，\( \alpha = 1 \) 时是Ridge。