激活函数（ReLU、sigmoid、tanh）的优点和局限性

ReLU的优点：
1. 计算速度快：ReLU仅对正数进行操作，不需要进行复杂的计算，因此计算速度比sigmoid和tanh快很多。
2. 解决梯度消失问题：在深度神经网络中，梯度消失是一个常见的问题，ReLU可以在一定程度上缓解梯度消失的问题，因为它只有一部分区域的导数是0。
3. 稀疏性：ReLU可以使得神经元输出的结果变得更加稀疏，因为它会将一些负数的输入变成0，这样可以减少神经元之间的相互依赖。

ReLU的局限性：
1. 死亡ReLU问题：当输入为负数时，ReLU的导数为0，这将导致神经元“死亡”，即无法更新权重，影响模型的性能。
2. 非线性可分性限制：ReLU只能处理线性可分问题，无法处理一些非线性可分的问题，如异或问题。
3. 对负数的处理方式不够优秀：ReLU对负数的处理方式是将其变为0，这样可能会导致信息的丢失。

sigmoid的优点：
1. 可以将输出限制在0~1之间，并且输出值可以表示概率。
2. 具有良好的可导性，方便进行反向传播算法更新权重。
3. 在一定程度上可以防止神经元之间的相互依赖。

sigmoid的局限性：
1. 计算量大：sigmoid函数的计算量比ReLU和tanh大，因为它需要进行指数运算。
2. 容易出现梯度消失问题，特别是当输入很大或很小的时候，导数可以趋近于0，使得权重更新变得困难。
3. 输出不是零中心化的，这会导致模型的收敛速度变慢。

tanh的优点：
1. 输出值在-1~1之间，可以使得模型的输出更加稳定。
2. 具有良好的可导性，方便进行反向传播算法更新权重。

tanh的局限性：
1. 计算量大：tanh函数的计算量比ReLU和sigmoid大，因为它需要进行指数运算。
2. 容易出现梯度消失问题，特别是当输入很大或很小的时候，导数可以趋近于0，使得权重更新变得困难。
3. 输出不是零中心化的，这会导致模型的收敛速度变慢。