深入理解神经网络：人工神经元与激活函数

"黄敬雯周报201708021" 本周学习内容主要集中在算法基础和神经网络的概念上，特别是在理解神经网络的工作原理和实现方面。报告提到了人工神经元模型、激活函数以及神经网络模型的分类。 1. 人工神经元模型 人工神经元是神经网络的基本构建模块，它的运作机制可以类比于生物神经元。在模型中，输入信号x1至xn通过各自的权重wij传递给神经元，然后经过一个阈值θ（或者称为偏置bias）进行处理。激活函数f（也称为转移函数）将所有这些加权输入转化为神经元的输出yi。如果将阈值视为输入x0的权重，我们可以将整个模型表示为一个简单的数学公式，其中净激活net是所有输入的加权和加上阈值。如果净激活为正，神经元处于激活状态；反之，如果为负，神经元处于抑制状态。这种模型被称为M-P模型，是神经网络中最基础的计算单元。 2. 常用激活函数 激活函数是神经网络的核心部分，它决定了神经元如何响应其输入。报告中提到了几种常见的激活函数： - (1) 线性函数：线性的输入与输出关系，简单但可能导致梯度消失问题。 - (2) 斜面函数：一种平缓的线性函数，用于平滑输出。 - (3) 阈值函数：输出只有两种可能，0或1，常用于二分类问题。 - (4) S形函数（Sigmoid Function）：S形曲线，输出在0到1之间，常用于二分类问题的最后层，但可能会出现梯度消失问题。 - (5) 双极S形函数：与S形函数类似，但输出范围在-1到1之间，适用于全范围的输出，如多分类问题。 S形函数和双极S形函数的导数都是连续的，这使得它们在反向传播算法（如BP算法）中非常有用，因为可导性是更新权重所必需的。 3. 神经网络模型 神经网络由大量相互连接的神经元构成，按照连接方式，主要分为以下三类： - (1) 前馈神经网络（Feedforward Neural Networks）：信息单向传递，没有反馈环路，是最基本的神经网络类型。 - (2) 循环神经网络（Recurrent Neural Networks, RNNs）：允许信息在时间序列中回流，适用于处理序列数据，如自然语言。 - (3) 卷积神经网络（Convolutional Neural Networks, CNNs）：主要用于图像处理，通过卷积层提取特征。 这些网络结构各有优势，可以根据具体任务的需求选择合适的模型。 总结来说，黄敬雯本周的学习涵盖了神经网络的基础，从人工神经元模型的构造到各种激活函数的作用，再到不同类型的神经网络模型，这些都是理解和构建复杂神经网络模型的基础。通过深入理解这些概念，可以更好地设计和优化神经网络模型，解决实际问题。