python+numpy+matplotalib实现梯度下降法实现梯度下降法
这个阶段一直在做和梯度一类算法相关的东西，索性在这儿做个汇总，
一、算法论述一、算法论述
梯度下降法(gradient descent)别名最速下降法（曾经我以为这是两个不同的算法-.-）,是用来求解无约束最优化问题的一种常
用算法。下面以求解线性回归为题来叙述：
设：一般的线性回归方程（拟合函数）为：（其中 的值为1）
则 这一组向量参数选择的好与坏就需要一个机制来评估，据此我们提出了其损失函数为(选择均方误差)：
我们现在的目的就是使得损失函数 取得最小值，即目标函数为：
如果 的值取到了0，意味着我们构造出了极好的拟合函数，也即选择出了最好的 值，但这基本是达不到的，我们
只能使得其无限的接近于0，当满足一定精度时停止迭代。
那么问题来了如何调整 使得 取得的值越来越小呢？方法很多，此处以梯度下降法为例：
分为两步：（1）初始化 的值。
（2）改变的值，使得 按梯度下降的方向减少。
值的更新使用如下的方式来完成：
其中 为步长因子，这里我们取定值，但注意如果 取得过小会导致收敛速度过慢， 过大则损失函数可能不会收敛，甚至逐
渐变大，可以在下述的代码中修改 的值来进行验证。后面我会再写一篇关于随机梯度下降法的文章，其实与梯度下降法最大
的不同就在于一个求和符号。
二、代码实现二、代码实现
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import axes3d
from matplotlib import style
#构造数据
def get_data(sample_num=10000):
"""
拟合函数为
y = 5*x1 + 7*x2
:return:
"""
x1 = np.linspace(0, 9, sample_num)
x2 = np.linspace(4, 13, sample_num)
x = np.concatenate(([x1], [x2]), axis=0).T
y = np.dot(x, np.array([5, 7]).T)
return x, y
#梯度下降法
def GD(samples, y, step_size=0.01, max_iter_count=1000):
"""
:param samples: 样本
:param y: 结果value
weixin_38694006
- 粉丝: 6
- 资源: 924
我的内容管理
收起
- 我的资源
快来上传第一个资源
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助
会员权益专享
最新资源
- Xilinx SRIO详解.pptx
- Informatica PowerCenter 10.2 for Centos7.6安装配置说明.pdf
- 现代无线系统射频电路实用设计卷II 英文版.pdf
- 电子产品可靠性设计 自己讲课用的PPT，包括设计方案的可靠性选择，元器件的选择与使用，降额设计，热设计，余度设计，参数优化设计 和 失效分析等
- MPC5744P-DEV-KIT-REVE-QSG.pdf
- 通信原理课程设计报告（ASK FSK PSK Matlab仿真--数字调制技术的仿真实现及性能研究）
- ORIGIN7.0使用说明
- 在VMware Player 3.1.3下安装Redhat Linux详尽步骤
- python学生信息管理系统实现代码
- 西门子MES手册 13 OpcenterEXCR_PortalStudio1_81RB1.pdf
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0