"CIFAR10分类-特征提取与深度学习比较分析"

本次课题报告由11组1完成，小组成员包括1854205郑昕瑶和1852329赵孟石，负责深度学习部分；1853790庄镇华和1852305包广垠，负责传统方法部分。本次任务基于CIFAR-10数据集进行分类，旨在分别使用传统机器学习方法和深度学习方法进行分类，并结合实验数据进行分析总结。在传统机器学习方面，使用了主成分分析（PCA）、特征检测算法（HOG）和局部特征描述子（DAISY）进行特征提取，并采用了十种传统模型进行预测，并进行了比较分析。在深度学习方面，使用了数据增强、权重衰减、拟正则化、变化学习率等方法进行优化，并分别使用了Simple_CNN、Deep_cnn、Vgg16和ResNet等网络架构进行训练和比较，在测试集上得到了92%的结果。最后总结部分还专门讨论了神经网络调参的感悟，并探究了传统方法和深度学习方法的模型特点和不同。同时，小组还完成了加分项1，即手写实现贝叶斯分类，并优化了CNN，完成了加分项4。 首先，小组进行了数据准备与数据清洗，针对传统方法，原始数据为(32,32)的RGB图片，特征空间的维度为3072。然而，传统的机器学习方法不能适应如此高维的特征空间。因此，小组采用了主成分分析（PCA）、特征检测算法（HOG）和局部特征描述子（DAISY）进行特征提取，以降低特征空间的维度，使得传统模型能够更好地处理。同时，小组编号之间还进行了数据加载、构造批次数据和异常点清洗等工作，以保证数据质量和有效性。 在传统机器学习方面，小组采用了PCA、HOG、DAISY进行特征提取，并采用了十种传统模型进行预测，包括但不限于支持向量机（SVM）、朴素贝叶斯（Naive Bayes）、k均值（K-Means）等，同时进行了比较分析，评估其在CIFAR-10数据集分类上的性能表现。 在深度学习方面，小组依次采用了数据增强、权重衰减、拟正则化、变化学习率等方法进行了调参优化，分别使用了Simple_CNN、Deep_CNN、Vgg16和ResNet等网络架构进行训练和比较，最终在测试集上获得了92%的准确率。此外，小组还完成了加分项4，即构造并优化了CNN模型，进一步提升了准确率并得到了较好的结果。 最后总结部分，小组还探讨了传统方法和深度学习方法在模型特点和应用场景上的异同，以及在CIFAR-10数据集上的表现差异。同时，小组也回顾了整个过程中的心得体会和教训，讨论了神经网络调参的必要性和技巧。在整个任务中，小组成员兢兢业业，共同努力，取得了不俗的成绩。