决策函数的法向量是通过最小二乘法求出来的特征向量,那请问决策函数的斜率又是怎么得出来的
时间: 2024-01-24 10:20:11 浏览: 188
MATLAB求斜率函数详解
决策函数的斜率是由法向量计算出来的。在二分类问题中,假设我们有一个决策边界 $w^Tx+b=0$,其中 $w$ 是一个特征向量,$x$ 是输入特征向量,$b$ 是偏置。对于任意一个点 $x$,它到决策边界的距离可以用 $d(x)=\frac{|w^Tx+b|}{\|w\|}$ 来表示。当我们想要最小化所有点到决策边界的距离时,我们需要最小化以下目标函数:
$$\min_{w,b}\frac{1}{2}\|w\|^2$$
$$s.t.\ y_i(w^Tx_i+b)\geq 1,\ i=1,2,...,n$$
其中,$y_i$ 是样本 $x_i$ 的标签,$\|w\|$ 表示向量 $w$ 的模长。这个问题可以通过拉格朗日乘数法转化为一个对偶问题,可以用核函数进行非线性分类。在对偶问题中,最终的决策函数的斜率可以通过对支持向量的权重进行加权求和得到。
阅读全文