变量投影：解决非线性最小二乘问题的新策略

"变量投影法在解决可分离非线性最小二乘问题中的应用与优势" 在计算机视觉和相关领域，优化方法是核心组成部分，其性能的提升能推动新功能和应用的发展。变量投影法（VarPro）作为一种优化框架，尤其适用于处理可分离的非线性最小二乘（SNLS）问题，如低秩矩阵因子分解和仿射光束法平差等。尽管VarPro在过去十年间受到广泛关注，因为它在某些问题类别上表现出优于联合优化的大收敛域，但至今仍缺乏理论解释为何VarPro在这种情况下更有效，同时，VarPro在大型数据集上的表现也引发可扩展性的疑问。 本文的目的是深入理解VarPro的优势和限制。首先，引入了非最小参数化在二进制分割、MAP推断、3D模型拟合和鲁棒成本计算等任务中的应用，证明非最小表示能带来更低的目标值和更好的解决方案。然而，对于低秩矩阵分解问题，尤其是在存在缺失数据的情况下，使用非最小参数化的VarPro方法通常展现出优于传统联合优化方法的性能。 以仿射光束法平差为例，图1展示了标准联合优化（如Schur补光束法平差）在任意初始化时可能无法获得有效的重构，而VarPro则能从随机初始值中找到最优解。这两种方法之间的微妙差异导致了显著不同的收敛行为。 VarPro通过最优地消除一部分未知量，简化了优化问题，这在处理可分离的非线性最小二乘问题时尤为有效。例如，在信号处理（如盲源分离）、机器学习（如因子分析）和3D计算机视觉（如仿射和非刚性重建）等领域，低秩矩阵分解问题频繁出现。文献中多次报道VarPro在这些问题上的成功应用，特别是在解决几类特定问题时，VarPro能够达到最优解。 尽管如此，VarPro的可扩展性仍然是一个待解决的问题。为了全面理解并充分利用VarPro，需要进一步研究其在大规模数据集上的性能，以及在各种条件下与联合优化方法的比较。这将有助于确定何时以及如何最好地应用VarPro，以解决实际中的复杂优化挑战。