Datawhale第四次打卡：机器学习第五章——神经网络与感知机详解

在"Datawhale第四次打卡"的机器学习第五章笔记中，我们深入探讨了神经网络的基础概念和算法。章节首先介绍了神经元模型，它是神经网络的基本构建单元，接收来自其他神经元的加权输入，通过激活函数处理后产生输出。理想中的激活函数如阶跃函数，但实际应用中常使用连续且平滑的Sigmoid函数。 感知机作为两层神经网络的示例，由输入层和输出层组成，输出层通常包含阈值逻辑单元。通过训练，可以调整权重和阈值，使得模型能够执行逻辑运算。感知机仅有一个输出层的激活函数，而多层感知机（或多层神经网络）则引入了隐藏层，增加了模型的复杂性和表达能力。 单隐层网络是多层网络的一种简单形式，仅有一层隐藏层，并包含两个活跃的层。神经网络的学习过程主要涉及调整连接权重和神经元阈值，以最小化预测输出与实际标签之间的差距。误差逆传播算法在此过程中起关键作用，用于计算梯度并更新权重。模型抽象地看，一个多层前馈网络包含输入、隐藏和输出层，权重更新遵循链式法则： - 训练样本表示为D={(x1,y1),...,(xm,ym)}。 - 权重更新公式为Δwi=η*(yk-f(βj−θj)*xi)，其中η是学习率，f(x)是激活函数。 - 均方误差Ek是衡量预测值与真实值之间差异的指标，计算公式为Ek=2/((j=1 to l)∑(yk^j−yk)^2)。 在误差逆传播过程中，需要注意权重更新的反向传播规则，即误差从输出层逐层向输入层传播，考虑到网络的连接性，这意味着需要对所有相连节点的贡献求和。这一算法是训练深层神经网络的关键技术，对于优化模型性能至关重要。 总结来说，本章节涵盖了神经元模型、激活函数、感知机、多层网络、单隐层网络的概念，以及误差逆传播算法的原理和应用。理解这些概念有助于深入掌握机器学习中神经网络的核心原理和技术。