最优传输理论与算法在深度学习中的应用——郎大宇硕士论文

"最优传输问题的高效算法及应用-郎大宇" 最优传输问题是一个在概率论、优化理论和计算数学中具有重要地位的课题，它涉及到如何在两个概率分布之间找到一个最小成本的映射。该问题最早由Gaspard Monge在18世纪提出，后来由Kantorovich进行了形式化并引入了现代优化理论。最优传输问题在最近几年由于其在深度学习、图像处理、经济学和医学等领域的广泛应用而得到了广泛关注。 郎大宇的硕士学位论文深入探讨了三种解决最优传输问题的算法：Benamou-Brenier方法、Sinkhorn算法和基于快速傅里叶变换的FFT-OT方法。Benamou-Brenier方法是通过连续时间流体动力学的角度来解决，它将最优传输问题转化为一个变分问题，通过求解Euler方程来寻找最优流动。Sinkhorn算法则是一种基于熵正则化的迭代方法，它通过引入拉普拉斯算子的指数函数来使问题变得可解，并且可以快速收敛。而FFT-OT方法则是利用傅里叶变换的性质，通过在频域中计算来加速优化过程，尤其适用于大规模问题。 论文对这三种算法进行了详细的理论介绍和实际实现，通过对比实验分析了它们的求解精度、计算效率和适用场景。实验结果揭示了每种方法的特性，比如Sinkhorn算法在计算速度上的优势，但可能在精度上略逊于其他两种方法；而Benamou-Brenier方法虽然提供了较高的精度，但计算成本较高。 此外，论文还关注了最优传输理论在长尾数据学习中的应用。长尾数据是指数据分布不均衡，某些类别的样本数量远多于其他类别，这在实际应用中非常常见。传统深度学习模型在处理这类数据时可能会出现性能下降。郎大宇提出了OTSoftmax方法，该方法利用Sinkhorn算法计算得到的最优传输矩阵调整模型的输出，以适应长尾分布，从而改善模型在处理不平衡数据集时的表现。实验表明，OTSoftmax方法在长尾数据学习任务上超越了多种基准方法，提高了模型的泛化能力。 关键词涵盖了最优传输理论的基础、计算方法以及实际应用领域，反映了郎大宇的研究工作全面覆盖了从理论到实践的关键环节，为最优传输理论在各种实际问题中的应用提供了新的思路和工具。