双极性Sigmoid与正切S型神经元：深度解析神经网络的工作原理

本篇内容主要介绍了双极性Sigmoid函数（正切S型转移函数）在神经网络中的应用，结合第2讲神经网络的主题。神经网络是一种模仿人脑神经元结构和功能的人工计算模型，它起源于对生物神经系统的深入研究。以下是关键知识点的详细阐述： 1. **神经网络简介** - 神经网络（NN或ANN）是基于生物学研究中对神经元结构的认识，通过数学和物理方法构建的简化模型，用于信息处理。 - 生物神经元由树突、细胞体、轴突和突触构成，人工神经元则相应地模拟这些结构，并通过输入层、加权和、阈值函数和输出层来处理信号。 2. **人工神经元模型** - McCulloch-Pitts (MP)模型是1943年提出的，它是最早的人工神经元模型之一，特点包括： - 多输入单输出：每个神经元处理多个输入信号并产生单一输出。 - 阈值特性：只有当输入超过一定阈值时，神经元才会产生输出。 - 空间整合：加权求和表示输入信号的重要性。 - 固定延迟和非时变性：输出与输入之间的关系固定，且突触强度不随时间变化。 3. **建模过程** - 建立人工神经网络模型包括：多输入信号经过权重调整，然后累加求和，最后通过转移函数（如Sigmoid或正切S型函数）转换为输出。 4. **Sigmoid函数** - 双极性Sigmoid函数是一种常用的非线性转移函数，其特点是输出值范围在0到1之间，常用于二分类问题，可以将连续输入映射到概率输出。其公式表达式通常为f(x) = 1 / (1 + e^(-x))。 5. **正切S型转移函数** - 虽然正切S型函数（tanh）在某些情况下也会被用作神经网络的激活函数，但与Sigmoid不同，它的输出值在-1到1之间，更接近于自然神经元的输出特性。它在处理信号时具有更快的饱和性，适合处理更深的网络层次。 6. **数学模型** - 数学上，神经元的输出可以通过输入、权重和阈值函数的组合得出。例如，对于单个神经元，输出O(t)可以表示为一个函数，如Sigmoid或tanh，应用在输入xt和权重wij的乘积之和上。 通过理解和掌握这些概念，学习者能够更好地构建和理解神经网络的工作原理，选择合适的激活函数，并在实际应用中优化模型性能。在神经网络的设计过程中，Sigmoid和正切S型转移函数的选择会直接影响模型的收敛速度和表达能力。