机器学习分类器对比：KNN, SVM, Fisher线性判别分析

"这篇报告由洪逸宁撰写，主要探讨了使用不同的机器学习分类器对CIFAR-10和MNIST数据集进行分类的方法。报告涵盖了KNN、线性SVM、核SVM、Fisher's Linear Discriminant（Fisher线性判别分析）以及Kernel Fisher Discriminant等五种分类器的实现和比较。整个项目使用Matlab完成，并给出了运行结果。" 在机器学习领域，分类任务是核心问题之一，特别是在图像识别中，CIFAR-10和MNIST数据集常常被用来评估不同算法的性能。CIFAR-10数据集包含10个类别，每个类别有6000张32x32像素的彩色图像；而MNIST数据集则是一个手写数字识别的基准，包含70000张28x28像素的灰度图像。 1. KNN（K-最近邻）算法是一种基于实例的学习方法，它通过找到训练集中与新样本最接近的K个邻居来预测其类别。K的选择直接影响到分类的精度，较大的K值可以减少噪声影响，但可能使得决策边界变得平滑；较小的K值则可能导致过拟合。 2. SVM（支持向量机）是一种二分类模型，线性SVM通过构建最大间隔超平面来进行分类。对于非线性可分问题，可以通过核函数将数据映射到高维空间，从而实现非线性分类。SVM的优势在于它能自动处理高维特征空间，并且在小样本情况下表现良好。 3. Fisher's Linear Discriminant（Fisher线性判别分析）是一种降维技术，旨在找到一个投影方向，使得类内方差最小，类间方差最大化，从而提高分类效率。FLD常用于特征选择和降维，尤其适用于数据分布近似高斯且类别之间线性可分的情况。 4. Kernel Fisher Discriminant（核Fisher判别分析）是Fisher's LDA的扩展，利用核技巧将数据映射到高维空间，从而处理非线性问题。它结合了Fisher判别分析的优秀理论基础和核方法的非线性能力。 报告中提到的所有分类器都在Matlab环境中实现并进行了性能比较，包括准确率、实现难度、训练和测试时间以及内存需求等关键指标。这样的比较有助于理解各种算法在特定任务上的优势和不足，为实际应用提供参考。关键词涵盖了机器学习、CIFAR-10、MNIST、分类器、KNN、SVM、Fisher判别分析和Matlab，这些都是本研究的核心主题。