广义感知器参数学习算法
时间: 2023-08-07 19:07:51 浏览: 56
广义感知器是对感知器算法的扩展,它可以处理线性不可分数据集。与感知器算法中的阶跃函数不同,广义感知器使用连续的激活函数。其参数学习算法使用随机梯度下降法。
算法描述如下:
输入:训练数据集 $D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)\}$,学习率 $\alpha$,迭代次数 $T$。
输出:分类器 $f(x)$。
1. 初始化权重向量 $\mathbf{w}$ 和偏置 $b$。
2. 对于 $t=1,2,\cdots,T$,执行以下操作:
a. 从数据集 $D$ 中随机选择一个样本 $(x_i,y_i)$。
b. 计算该样本的输出 $\hat{y}_i=f(\mathbf{w} \cdot \mathbf{x}_i + b)$。
c. 更新权重向量和偏置 $b$:
$$\begin{aligned}\mathbf{w}&\gets \mathbf{w}+\alpha(y_i-\hat{y}_i)f'(\mathbf{w} \cdot \mathbf{x}_i + b)\mathbf{x}_i\\b&\gets b+\alpha(y_i-\hat{y}_i)f'(\mathbf{w} \cdot \mathbf{x}_i + b)\end{aligned}$$
3. 返回分类器 $f(x)=\text{sign}(\mathbf{w} \cdot \mathbf{x} + b)$。
其中,$f'(z)$ 为激活函数的导数,$\text{sign}(z)$ 为符号函数,即:
$$\text{sign}(z)=\begin{cases}+1 & (z\geq 0)\\-1 & (z<0)\end{cases}$$
常用的激活函数包括 sigmoid 函数、tanh 函数等。
相关推荐
![](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)