为什么决策函数的斜率是特征向量的模

对于线性分类器，假设我们有一个超平面 $w^Tx+b=0$，其中 $w$ 是超平面的法向量，$b$ 是超平面的截距。给定一个数据点 $x_i$，我们可以通过计算它到超平面的距离来决定它属于哪一类。这个距离可以用点 $x_i$ 到超平面的投影长度来表示，即

$$
\frac{|w^Tx_i+b|}{\|w\|}
$$

其中 $\|w\|$ 表示 $w$ 的模长。

为了将数据点分类到正确的类别，我们需要找到一个决策函数 $f(x)$，它将数据点映射到超平面两侧的某个类别。一种常用的方式是使用符号函数，即

$$
f(x) = \text{sign}(w^Tx+b)
$$

如果 $w^Tx+b \ge 0$，则 $f(x)=1$；否则，$f(x)=-1$。这样得到的决策函数可以将数据点正确地分类到超平面两侧的不同类别。

我们可以把 $w$ 看做是超平面的法向量，它决定了超平面的方向。特征向量 $x$ 定义了数据点在特征空间中的方向。斜率是两个向量之间的夹角的正切值。因此，当我们计算决策函数的斜率时，实际上是计算超平面法向量 $w$ 和数据点 $x$ 的夹角的正切值。由于 $w$ 的模长为 $\|w\|$，因此当我们计算决策函数的斜率时，实际上也是在计算超平面法向量 $w$ 和数据点 $x$ 的夹角的正切值，即

$$
\frac{w^Tx}{\|w\|\|x\|}
$$

注意到 $x$ 的模长为 $\|x\|$，因此 $\frac{w^Tx}{\|w\|\|x\|}$ 可以简化为 $\frac{w^Tx}{\|w\|}$。因此，决策函数的斜率实际上就是超平面法向量 $w$ 的模长，即特征向量的模。