复杂性与推广性：SVM在有限样本下的挑战与理论基础

本资源是浙江大学研究生课程《人工智能引论》的一部分，由徐从富教授主讲，主要讨论的是复杂性与推广能力在支持向量机（SVM）框架下的理解和应用。在有限样本条件下，学习机器的性能评估不能仅仅基于经验风险最小，因为这可能并不保证期望风险最小。SVM作为一种强大的统计学习方法，其复杂性与问题的难度和样本量密切相关。学习精度追求降低训练误差，而推广能力则是确保模型在未见过的数据上的表现，这两者之间存在权衡。 传统的解决策略，如正则化（如L1或L2范数惩罚）、模型选择和噪声抑制，试图控制模型复杂度，但这些方法在理论基础上可能存在不足。SLT（统计学习理论）为SVM提供了坚实的数学基础，包括概率论、数理统计以及泛函分析等工具，它强调了即使是复杂的理论，只要经过严谨证明并有效，也能在实际问题中发挥重要作用，挑战了"复杂理论无用，简单算法实用"的传统观念。 SLT的核心理念是，许多实际问题中的依赖关系可以用少数的"强特征"简单线性组合来近似，但SVM更关注"弱特征"的巧妙组合，即使数量众多，也无需过多关注单个特征的选择，而是通过构建合适的组合来达到良好的拟合效果。这与传统的特征工程方法形成了对比，后者通常需要人工精心挑选关键特征。 SVM在统计学习理论中占据重要地位，因为它不仅有坚实的数学支撑，而且能通过理论指导解决复杂的非线性问题，展现出了理论与实践的有效结合。此外，资源还提到了SLT与SVM的发展简史、研究现状以及相关的参考文献，对于深入理解和支持向量机的学习具有较高的价值。