深度信念网络与PLS回归：非线性系统建模新方法

本文主要探讨了深度信念网络（Deep Belief Network, DBN）在非线性系统建模中的应用，特别是在结合部分最小二乘回归（Partial Least Squares Regression, PLSR）技术的情况。深度学习作为一种强大的工具，在工程实践中的非线性系统建模和识别领域备受青睐，由于其强大的学习能力。然而，现有的DBN权重优化方法通常依赖于梯度下降等算法，这可能导致模型陷入局部最优解，从而限制了训练结果的质量。 传统的DBN训练过程依赖于反向传播算法对深层神经网络的权重进行更新，这种方法可能会因梯度消失或爆炸的问题而影响网络的收敛性能。作者提出了一种新颖的方法，即利用PLSR来辅助DBN的权重优化。PLSR是一种统计学习技术，它能够有效地处理高维数据和多重共线性，有助于改善模型的泛化能力和对复杂非线性关系的理解。 在实际应用中，如废水处理系统的建模，这种深度学习与统计方法的结合具有重要意义。通过将PLSR的稳健性和DBN的深度结构相结合，研究者旨在找到一种更加全局且稳定的方式来优化网络权重，从而提升非线性系统模型的精度和稳定性。文章指出，这种方法在18年 Neural Networks 杂志第104期（68-79页）上发表，接收日期为2017年4月16日，修订稿于同年10月5日接受，最终在线发布日期为10月31日。 该研究的关键字包括深度信念网络、部分最小二乘回归、权重优化、非线性系统建模以及具体的应用实例——废水处理系统。研究者通过对DBN权重优化策略的创新，有望推动非线性系统建模领域的技术进步，使得深度学习在解决实际工程问题时更具优势。