利用梯度法解 LASSO 问题

LASSO（Least Absolute Shrinkage and Selection Operator）问题是一种用于特征选择和稀疏建模的线性回归方法。其目标函数为：

$$
\min_{\boldsymbol{w}} \frac{1}{2n}||\boldsymbol{y}-\boldsymbol{Xw}||_2^2+\alpha||\boldsymbol{w}||_1
$$

其中，$\boldsymbol{y}$ 是 $n$ 维向量，$\boldsymbol{X}$ 是 $n\times p$ 的矩阵，$\boldsymbol{w}$ 是 $p$ 维向量，$\alpha$ 是正则化系数。

为了解决这个问题，可以使用梯度下降法，即不断迭代更新 $\boldsymbol{w}$ 直到收敛。具体来说，可以采用坐标下降法，即对每个 $w_i$ 进行更新，保持其他 $w$ 不变，重复此过程直到收敛。

坐标下降法的更新步骤如下：

1. 初始化 $\boldsymbol{w}$
2. 对于 $i=1,2,...,p$，依次更新 $w_i$：

$$
w_i \leftarrow S(\frac{1}{n}\boldsymbol{x}_i^T(\boldsymbol{y}-\boldsymbol{Xw}_{-i}),\alpha)
$$

其中，$\boldsymbol{x}_i$ 是 $\boldsymbol{X}$ 的第 $i$ 列，$\boldsymbol{w}_{-i}$ 是 $\boldsymbol{w}$ 中除了 $w_i$ 外的所有元素构成的向量，$S$ 是软阈值函数：

$$
S(x,\alpha) = \begin{cases}
x-\alpha, & x>\alpha \\
0, & |x|\leq \alpha \\
x+\alpha, & x<-\alpha
\end{cases}
$$

3. 重复步骤 2 直到收敛。

这样，就可以使用梯度下降法解决 LASSO 问题了。需要注意的是，LASSO 问题是非凸的，因此不保证能够得到全局最优解。