山大网安期末复习：机器学习与过拟/欠拟合详解

在19级山东大学网络空间安全学院期末复习材料《19级山大网安机器学习复习.pdf》中，主要涵盖了机器学习及其在人工智能领域中的地位、关键步骤、过拟合和欠拟合的理解、方差和偏差的概念、正则化的应用以及减少过拟合和欠拟合风险的方法。以下是详细解读： 1. **机器学习与人工智能的关系**: - 人工智能是一种广义的概念，涵盖了一系列模拟人类智能的技术，如专家系统、规则引擎等。 - 机器学习则是实现人工智能的一种具体方法，它使计算机能够通过数据自我学习，构建预测模型。 2. **机器学习的三个步骤**: - 定义模型函数集（function set）：确定模型的基本结构。 - 定义损失函数：衡量模型性能的量化标准，如均方误差或交叉熵。 - 优化模型：寻找最佳函数，通常是通过迭代算法（如梯度下降）调整参数。 3. **过拟合与欠拟合**: - 过拟合发生在模型过度适应训练数据，对新数据泛化能力弱，表现为训练集表现好，测试集表现差。 - 欠拟合则是模型过于简单，无法捕捉数据的复杂模式，训练集和测试集表现都不理想。 4. **方差与偏差**: - 方差高表示模型对训练数据的波动性大，可能源于模型复杂度过高。 - 偏差则代表模型对真实数据的平均预测误差，过低的偏差意味着模型过于简单，缺乏复杂性。 5. **正则化**: - 目的在于控制模型复杂度，防止过拟合。 - 通过在损失函数中添加正则项，限制参数的大小，促进模型的简洁性。 6. **降低过拟合和欠拟合的方法**: - 过拟合：增加数据量，选择合适的模型复杂度，正则化，使用集成学习。 - 欠拟合：添加新特征，提高模型复杂度，适当减弱正则化。 7. **梯度下降和Adagrad**: - 梯度下降是最基础的优化算法，通过迭代更新模型参数以最小化损失函数。 - Adagrad针对不同参数自适应调整学习率，防止某些参数更新过快或过慢。 8. **随机梯度下降**: - 针对大规模数据集，随机梯度下降采用每次随机选取一个样本来计算梯度，加快了训练速度，但也可能导致不稳定性。 这份复习资料对于理解机器学习在网络安全中的应用及如何有效避免模型在训练过程中出现的常见问题非常有帮助。考生应熟悉这些概念并能灵活运用在期末考试中。