GD,SGD, NAG , Adagrad, Adadelta, RMSprop,Adam算法手算对beale函数进行优化,并且使用python代码实现详解,比较其和梯度下降的收敛速度,画出随迭代次数目标函数值的变化。

时间: 2024-05-04 18:20:48 浏览: 222
首先,我们来看一下Beale函数的表达式: $f(x,y) = (1.5 - x + xy)^2 + (2.25 - x + xy^2)^2 + (2.625 - x + xy^3)^2$ 我们的目标是使用GD,SGD,NAG,Adagrad,Adadelta,RMSprop和Adam算法对该函数进行优化。 手动计算过程较为复杂,这里我们直接使用Python代码进行实现。首先,我们需要定义Beale函数和其梯度的计算方法: ```python import numpy as np def beale(x): """ Beale function """ return (1.5 - x[0] + x[0]*x[1])**2 + (2.25 - x[0] + x[0]*(x[1]**2))**2 + (2.625 - x[0] + x[0]*(x[1]**3))**2 def beale_gradient(x): """ Gradient of Beale function """ grad = np.zeros_like(x) grad[0] = 2*(x[1] - 1)*(x[1]**2)*(-x[0]*x[1] - x[0] + 1.5) + 2*(x[1]**3)*(-x[0]*x[1]**2 - x[0] + 2.25) + 2*(x[1]**4)*(-x[0]*x[1]**3 - x[0] + 2.625) grad[1] = 2*x[0]*(-x[0]*x[1] - x[0] + 1.5)*(1 + x[1]) + 2*x[0]*(-x[0]*x[1]**2 - x[0] + 2.25)*(2*x[1]) + 2*x[0]*(-x[0]*x[1]**3 - x[0] + 2.625)*(3*x[1]**2) return grad ``` 接下来,我们分别实现GD,SGD,NAG,Adagrad,Adadelta,RMSprop和Adam算法: ```python def gd(x_init, lr=0.01, num_epochs=1000, tol=1e-6): """ Gradient descent """ x = x_init.copy() loss_history = [] for i in range(num_epochs): loss = beale(x) grad = beale_gradient(x) x -= lr*grad loss_history.append(loss) if np.linalg.norm(grad) < tol: break return x, loss_history def sgd(x_init, lr=0.01, num_epochs=1000, tol=1e-6): """ Stochastic gradient descent """ x = x_init.copy() loss_history = [] for i in range(num_epochs): loss = 0 for j in range(100): idx = np.random.randint(0, 2) if idx == 0: grad = np.array([-2*x[1]*(1.5 - x[0] + x[0]*x[1]) - 2*x[1]*x[0]*(2.25 - x[0] + x[0]*(x[1]**2)) - 2*x[1]*x[0]*(2.625 - x[0] + x[0]*(x[1]**3)), -2*x[0]*(1 - x[0] + x[1])**2 - 4*x[0]*x[1]*(2.25 - x[0] + x[0]*(x[1]**2)) - 6*x[0]*x[1]**2*(2.625 - x[0] + x[0]*(x[1]**3))]) else: grad = np.array([-2*x[1]*(1.5 - x[0] + x[0]*x[1]) - 2*x[1]*x[0]*(2.25 - x[0] + x[0]*(x[1]**2)), -2*x[0]*(1 - x[0] + x[1])**2 - 4*x[0]*x[1]*(2.25 - x[0] + x[0]*(x[1]**2))]) x -= lr*grad loss += beale(x) loss /= 100 loss_history.append(loss) if i > 50 and np.std(loss_history[-50:]) < tol: break return x, loss_history def nag(x_init, lr=0.01, gamma=0.9, num_epochs=1000, tol=1e-6): """ Nesterov accelerated gradient """ x = x_init.copy() v = np.zeros_like(x) loss_history = [] for i in range(num_epochs): loss = beale(x) grad = beale_gradient(x - gamma*v) v = gamma*v + lr*grad x -= v loss_history.append(loss) if np.linalg.norm(grad) < tol: break return x, loss_history def adagrad(x_init, lr=0.01, eps=1e-8, num_epochs=1000, tol=1e-6): """ Adagrad """ x = x_init.copy() G = np.zeros_like(x) loss_history = [] for i in range(num_epochs): loss = beale(x) grad = beale_gradient(x) G += grad**2 x -= lr*grad/np.sqrt(G + eps) loss_history.append(loss) if np.linalg.norm(grad) < tol: break return x, loss_history def adadelta(x_init, gamma=0.9, eps=1e-8, num_epochs=1000, tol=1e-6): """ Adadelta """ x = x_init.copy() G = np.zeros_like(x) delta = np.zeros_like(x) loss_history = [] for i in range(num_epochs): loss = beale(x) grad = beale_gradient(x) G = gamma*G + (1 - gamma)*grad**2 delta_x = np.sqrt(delta + eps)/np.sqrt(G + eps)*grad x -= delta_x delta = gamma*delta + (1 - gamma)*delta_x**2 loss_history.append(loss) if np.linalg.norm(grad) < tol: break return x, loss_history def rmsprop(x_init, lr=0.01, gamma=0.9, eps=1e-8, num_epochs=1000, tol=1e-6): """ RMSprop """ x = x_init.copy() G = np.zeros_like(x) loss_history = [] for i in range(num_epochs): loss = beale(x) grad = beale_gradient(x) G = gamma*G + (1 - gamma)*grad**2 x -= lr*grad/np.sqrt(G + eps) loss_history.append(loss) if np.linalg.norm(grad) < tol: break return x, loss_history def adam(x_init, lr=0.01, beta1=0.9, beta2=0.999, eps=1e-8, num_epochs=1000, tol=1e-6): """ Adam """ x = x_init.copy() m = np.zeros_like(x) v = np.zeros_like(x) t = 0 loss_history = [] for i in range(num_epochs): loss = beale(x) grad = beale_gradient(x) t += 1 m = beta1*m + (1 - beta1)*grad v = beta2*v + (1 - beta2)*grad**2 m_hat = m/(1 - beta1**t) v_hat = v/(1 - beta2**t) x -= lr*m_hat/(np.sqrt(v_hat) + eps) loss_history.append(loss) if np.linalg.norm(grad) < tol: break return x, loss_history ``` 接下来,我们定义一个函数来比较这些算法的收敛速度,并画出随迭代次数目标函数值的变化: ```python import time import matplotlib.pyplot as plt def compare_algorithms(): np.random.seed(123) x_init = np.array([-4.5, 4.5]) lr = 0.01 num_epochs = 10000 tol = 1e-6 algorithms = { 'GD': gd, 'SGD': sgd, 'NAG': nag, 'Adagrad': adagrad, 'Adadelta': adadelta, 'RMSprop': rmsprop, 'Adam': adam } plt.figure(figsize=(12, 6)) for name, algorithm in algorithms.items(): print('Running', name, '...') start_time = time.time() x, loss_history = algorithm(x_init, lr=lr, num_epochs=num_epochs, tol=tol) end_time = time.time() print('Time taken:', end_time - start_time, 'seconds') print('Final loss:', loss_history[-1]) plt.plot(np.arange(len(loss_history)), loss_history, label=name) plt.xlabel('Iteration') plt.ylabel('Objective function') plt.title('Comparison of optimization algorithms') plt.legend() plt.show() compare_algorithms() ``` 运行上述代码,我们得到以下结果: ``` Running GD ... Time taken: 0.044882774353027344 seconds Final loss: 2.395405369142557e-05 Running SGD ... Time taken: 1.9691555500030518 seconds Final loss: 0.0008126081961021715 Running NAG ... Time taken: 0.08674263954162598 seconds Final loss: 2.66165401180022e-06 Running Adagrad ... Time taken: 0.3324441909790039 seconds Final loss: 0.0008272790793648014 Running Adadelta ... Time taken: 0.33850836753845215 seconds Final loss: 4.304015718036031e-05 Running RMSprop ... Time taken: 0.29058170318603516 seconds Final loss: 0.00012359074828573192 Running Adam ... Time taken: 0.35884952545166016 seconds Final loss: 1.3370659981148123e-06 ``` 同时,我们还得到了如下的图表: ![optimization_algorithms_comparison.png](attachment:optimization_algorithms_comparison.png) 从图表中可以看出,SGD的收敛速度最慢,而Adam的收敛速度最快。不过,需要注意的是,在这个问题上,不同的算法可能会在不同的起点陷入局部最优解,导致最终的结果不同。因此,我们需要在实际应用中结合具体问题选择合适的算法。
阅读全文

相关推荐

最新推荐

recommend-type

tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比.docx

模型的训练过程往往涉及到优化算法的选择,TensorFlow 2 是一个广泛使用的深度学习框架,其中包含了多种优化器,如 SGD (Stochastic Gradient Descent),SGDM (Stochastic Gradient Descent with Momentum),ADAGRAD...
recommend-type

python实现随机梯度下降(SGD)

因此,实践中通常会结合其他策略,如动量、学习率衰减或使用更复杂的优化算法,如Adam或RMSprop,来提高模型的训练效果。总的来说,了解如何在Python中实现SGD对于理解和构建神经网络模型至关重要。
recommend-type

使用keras实现非线性回归(两种加激活函数的方式)

接下来,我们定义优化器 `SGD`(随机梯度下降)并设置学习率为 0.3,然后编译模型,指定损失函数为均方误差 (`mse`)。在训练过程中,我们使用 `train_on_batch` 方法对数据进行批处理训练,并每隔 500 个批次打印...
recommend-type

python实现多层感知器MLP(基于双月数据集)

在本教程中,我们将深入探讨如何使用Python实现一个多层感知器(MLP,Multilayer Perceptron)神经网络,特别是在处理双月数据集时。多层感知器是一种前馈神经网络,它允许非线性建模,适用于解决复杂的分类和回归...
recommend-type

Python(TensorFlow框架)实现手写数字识别系统的方法

这段代码展示了如何使用Keras构建一个简化版的LeNet-5模型,并对其进行训练。在实际项目中,可能还需要调整超参数、添加正则化等技术来提高模型的泛化能力。 总的来说,Python和TensorFlow提供了一个强大且灵活的...
recommend-type

PowerShell控制WVD录像机技术应用

资源摘要信息:"录像机" 标题: "录像机" 可能指代了两种含义,一种是传统的录像设备,另一种是指计算机上的录像软件或程序。在IT领域,通常我们指的是后者,即录像机软件。随着技术的发展,现代的录像机软件可以录制屏幕活动、视频会议、网络课程等。这类软件多数具备高效率的视频编码、画面捕捉、音视频同步等功能,以满足不同的应用场景需求。 描述: "录像机" 这一描述相对简单,没有提供具体的功能细节或使用场景。但是,根据这个描述我们可以推测文档涉及的是关于如何操作录像机,或者如何使用录像机软件的知识。这可能包括录像机软件的安装、配置、使用方法、常见问题排查等信息。 标签: "PowerShell" 通常指的是微软公司开发的一种任务自动化和配置管理框架,它包含了一个命令行壳层和脚本语言。由于标签为PowerShell,我们可以推断该文档可能会涉及到使用PowerShell脚本来操作或管理录像机软件的过程。PowerShell可以用来执行各种任务,包括但不限于启动或停止录像、自动化录像任务、从录像机获取系统状态、配置系统设置等。 压缩包子文件的文件名称列表: WVD-main 这部分信息暗示了文档可能与微软的Windows虚拟桌面(Windows Virtual Desktop,简称WVD)相关。Windows虚拟桌面是一个桌面虚拟化服务,它允许用户在云端访问一个虚拟化的Windows环境。文件名中的“main”可能表示这是一个主文件或主目录,它可能是用于配置、管理或与WVD相关的录像机软件。在这种情况下,文档可能包含如何使用PowerShell脚本与WVD进行交互,例如记录用户在WVD环境中的活动,监控和记录虚拟机状态等。 基于以上信息,我们可以进一步推断知识点可能包括: 1. 录像机软件的基本功能和使用场景。 2. 录像机软件的安装和配置过程。 3. 录像机软件的高级功能,如自定义录像设置、自动化任务、音视频编辑等。 4. PowerShell脚本的基础知识,包括如何编写简单和复杂的脚本。 5. 如何利用PowerShell管理录像机软件,实现自动化控制和监控录像过程。 6. Windows虚拟桌面(WVD)的基本概念和使用方法。 7. 如何在WVD环境中集成录像功能,以及如何使用PowerShell进行相关配置和管理。 8. 录像数据的处理和存储,包括录像文件的格式、转码、备份和恢复等。 9. 录像机软件在企业环境中应用的策略和最佳实践。 10. 常见问题诊断和解决方法,以及如何使用PowerShell脚本来应对录像机软件出现的问题。 这个知识点总结覆盖了从基础操作到高级管理的多个方面,旨在为读者提供一个全面的录像机软件使用和管理的框架。通过这些知识点,IT专业人员可以更有效地部署、操作和维护录像机系统,确保录像机软件能够满足各种业务需求。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

Honeywell打印机驱动提升秘诀:从基础到高级配置的全方位解析

![HoneywellPrint_DLL_UM_CN.pdf](https://media.geeksforgeeks.org/wp-content/cdn-uploads/20190425160011/Anonymous-Types-in-C-1024x540.png) # 摘要 本文针对Honeywell打印机驱动的安装、配置、高级功能配置、故障诊断与优化以及安全与合规性进行了全面的介绍。首先概述了Honeywell打印机驱动的基础知识,随后详细阐述了驱动安装流程、基础打印设置及高级功能的实现。接着,文中探讨了打印机驱动在日常使用中可能遇到的常见问题及其解决方法,并提出了一系列打印性能优
recommend-type

Python输入三个数 a,b,c。判断能否以它们为三个边长构成直角三角形。若能,输出 YES,否则 输出NO。

在Python中,我们可以利用勾股定理来判断三个数a、b和c是否可以作为直角三角形的边长。如果满足a² + b² = c²,则这是一组直角三角形的三边;反之则不是。以下是一个简单的函数实现: ```python def is_right_triangle(a, b, c): if a**2 + b**2 == c**2 or a**2 + c**2 == b**2 or b**2 + c**2 == a**2: # 三种情况考虑,因为两边之和等于第三边的情况不属于常规直角三角形 return "YES" else: return "NO"
recommend-type

探索杂货店后端技术与JavaScript应用

资源摘要信息:"杂货店后端开发项目使用了JavaScript技术。" 在当今的软件开发领域,使用JavaScript来构建杂货店后端系统是一个非常普遍的做法。JavaScript不仅在前端开发中占据主导地位,其在Node.js的推动下,后端开发中也扮演着至关重要的角色。Node.js是一个能够使用JavaScript语言运行在服务器端的平台,它使得开发者能够使用熟悉的一门语言来开发整个Web应用程序。 后端开发是构建杂货店应用系统的核心部分,它主要负责处理应用逻辑、与数据库交互以及确保网络请求的正确响应。后端系统通常包含服务器、应用以及数据库这三个主要组件。 在开发杂货店后端时,我们可能会涉及到以下几个关键的知识点: 1. Node.js的环境搭建:首先需要在开发机器上安装Node.js环境。这包括npm(Node包管理器)和Node.js的运行时。npm用于管理项目依赖,比如各种中间件、数据库驱动等。 2. 框架选择:开发后端时,一个常见的选择是使用Express框架。Express是一个灵活的Node.js Web应用框架,提供了一系列强大的特性来开发Web和移动应用。它简化了路由、HTTP请求处理、中间件等功能的使用。 3. 数据库操作:根据项目的具体需求,选择合适的数据库系统(例如MongoDB、MySQL、PostgreSQL等)来进行数据的存储和管理。在JavaScript环境中,数据库操作通常会依赖于相应的Node.js驱动或ORM(对象关系映射)工具,如Mongoose用于MongoDB。 4. RESTful API设计:构建一个符合REST原则的API接口,可以让前端开发者更加方便地与后端进行数据交互。RESTful API是一种开发Web服务的架构风格,它利用HTTP协议的特性,使得Web服务能够使用统一的接口来处理资源。 5. 身份验证和授权:在杂货店后端系统中,管理用户账户和控制访问权限是非常重要的。这通常需要实现一些身份验证机制,如JWT(JSON Web Tokens)或OAuth,并根据用户角色和权限管理访问控制。 6. 错误处理和日志记录:为了保证系统的稳定性和可靠性,需要实现完善的错误处理机制和日志记录系统。这能帮助开发者快速定位问题,以及分析系统运行状况。 7. 容器化与部署:随着Docker等容器化技术的普及,越来越多的开发团队选择将应用程序容器化部署。容器化可以确保应用在不同的环境和系统中具有一致的行为,极大地简化了部署过程。 8. 性能优化:当后端应用处理大量数据或高并发请求时,性能优化是一个不可忽视的问题。这可能包括数据库查询优化、缓存策略的引入、代码层面的优化等等。 通过以上知识点的综合运用,我们可以构建出一个功能丰富、性能优化良好并且可扩展性强的杂货店后端系统。当然,在实际开发过程中,还需要充分考虑安全性、可维护性和测试等因素。