迭代阈值算法ISTA详细计算过程

迭代阈值算法（ISTA, Iterative Shrinkage Thresholding Algorithm）主要用于解决带稀疏约束的优化问题，比如 LASSO（Least Absolute Shrinkage and Selection Operator，最小绝对缩放与选择操作）模型。这里以一维情况为例来说明其基本流程[^1]：

1. **初始化**：给定初始估计向量 \( x_0 \)，通常取零向量。

2. **迭代步**：对于每个迭代步骤 \( t \)，执行以下操作：
- **梯度下降**：计算损失函数 \( f(x) \) 关于 \( x \) 的梯度，\( g_t = \nabla f(x_t) \)。
- **软阈值操作**：对梯度 \( g_t \) 应用软阈值函数 \( S(\cdot, \lambda) \)，其中 \( \lambda \) 是正则化参数，它会将数值小于 \( \lambda \) 的部分设置为零，大于 \( \lambda \) 的部分减去 \( \lambda \)：

     x_{t+1} = S(x_t - \frac{1}{\mu} g_t, \lambda)

- **学习率调整**：在ISTA中通常使用固定的学习率 \( \mu \)，但在FISTA中可能会使用更复杂的策略来加速收敛。

3. **重复**：直到达到预设的迭代次数或者满足某个停止条件，比如变化量很小或者误差低于设定阈值。

值得注意的是，这个过程实质上是对原问题的一个近似解，因为它不是直接最小化非凸的 LASSO 目标，而是通过一系列线性逼近来逐步接近最优解。