林轩田机器学习技法：RBF网络详解与SVM的关联

本篇笔记是林轩田教授《机器学习技法》课程的第14讲，主题聚焦于Radial Basis Function Network（径向基函数网络），这是神经网络的一个特殊变种，它将之前讨论的径向基函数和神经网络概念结合起来。Radial Basis Function Network，也称为RBF网络，是一种基于Gaussian Kernel（高斯核）的模型，这种核函数因其形式类似于测量新输入点（x）与支持向量（SVs）中心的距离而得名。 在SVM中，Gaussian Kernel用于实现非线性分类，通过在高维空间中构建一条"粗壮"的决策边界。在RBF网络中，这种思想被扩展到整个网络结构中，其中每个神经元的响应仅仅依赖于输入点到该神经元中心的距离。这里的“基础函数”指的是高斯函数，它们被线性组合来形成网络的预测输出。 RBF网络的Hypothesis函数可以表达为： \[ \text{RBFNetworkHypothesis}(x) = \sum_{i=1}^{N_s} w_i e^{-\gamma||x - \mathbf{x}_i||^2} \] 其中，\( N_s \) 是支持向量的数量，\( w_i \) 是对应的支持向量的权重，\( \mathbf{x}_i \) 是支持向量的位置，\( || \cdot || \) 表示欧几里得距离，\( \gamma \) 是控制函数形状的参数。指数项反映了距离的衰减效应，距离越小，权重越大，反之亦然。这种结构使得网络能够捕捉输入数据的局部模式，并且对于远离支持向量的点，其影响逐渐减小。 RBF网络的训练过程涉及到权重的确定，通常通过调整参数来最小化训练误差，类似于神经网络中的反向传播算法。然而，与深度学习相比，RBF网络通常没有预训练阶段，而是直接在初始设置下进行优化。此外，正则化仍然是防止过拟合的关键手段，因为它限制了模型的复杂度。 RBF网络在机器学习领域中主要用于解决非线性问题，特别是在回归和模式识别任务中，它的特点是简单、易于理解，且在某些特定情况下能取得良好的性能。然而，与深度学习相比，其表达能力和适应复杂场景的能力相对较弱。理解RBF网络的工作原理有助于深入理解核方法和神经网络的连接，以及在实际应用中选择合适的模型架构。