正则化交替最小二乘算法：全局收敛与张量分解新方法

"这篇文章介绍了一种新的全局收敛的正则化交替最小二乘(Regularized Alternating Least Squares, RALS)算法，用于解决张量分解问题。该算法旨在克服传统ALS算法在处理张量分解时可能出现的‘沼泽效应’，即在迭代过程中局部最优解导致的停滞现象。作者陈艳男和孙文瑜提出，通过引入半范数作为正则项，可以增加正则化的灵活性，并防止子问题的Hessian矩阵变得奇异，从而增强算法的稳定性。此外，他们还提出了一种新的外推方法，使新生成的因子能够立即影响后续因子的更新，进一步优化了算法的性能。经过理论分析，证明了新算法在一定条件下的全局收敛性，并通过数值实验验证了其在人工和实际问题上的有效性。该研究对于理解和处理高维数据的张量表示具有重要意义，特别是在数据分析、机器学习和信号处理等领域。" 本文的核心知识点包括： 1. **张量分解**：张量是一种多维数组，张量分解是将高维数据分解为多个低秩因子的组合，常用于数据分析、推荐系统和图像处理等。 2. **交替最小二乘法(Alternating Least Squares, ALS)**：一种常用的求解张量分解的方法，通过迭代更新各个因子矩阵来最小化残差平方和，但在某些情况下可能会陷入局部最优解，即“沼泽效应”。 3. **正则化(Regularization)**：为防止过拟合或改善算法的全局性质，通常在目标函数中添加正则项。在RALS算法中，正则项是子问题解与当前迭代点差异的范数，通过引入半范数，正则化变得更加灵活，有助于跳出局部最优。 4. **半范数(Half-Norm)**：相比于全范数，半范数不强制非零向量的范数为正，这为正则化提供了更大的自由度，允许更灵活的约束和优化策略。 5. **全局收敛性(Global Convergence)**：新提出的RALS算法在一定条件下能确保算法从任意初始点都能收敛到全局最优解，增强了算法的稳健性。 6. **外推方法(Extrapolation)**：通过新方法使新生成的因子即时影响后续因子更新，这有助于加速收敛速度和提高解的质量。 7. **CANDECOMP/PARAFAC(CP)分解**：张量分解的一种常见形式，与ALS算法密切相关，常用于多模态数据的分析。 8. **数值实验**：通过实证研究证明新算法在各种问题上的有效性，包括人工和真实世界的数据集。 9. **应用领域**：该算法适用于数据科学、机器学习、计算机视觉、信号处理等多个领域，特别是在处理高维复杂数据时，能提供更优的解决方案。 10. **关键词**：正则化ALS算法、CANDECOMP、PARAFAC、张量分解、全局收敛、半范数、外推方法。这些关键词突出了研究的关键技术和研究方向。