神经网络有哪些激活函数？它们都有什么优点和缺点？如果要使用resnet网络，可以使用什么激活函数来提升我的训练效果？

常见的神经网络激活函数有sigmoid、tanh、ReLU、LeakyReLU、ELU等。

Sigmoid激活函数将输入映射到0到1之间的连续值，对于二分类问题有一定效果，但存在梯度消失和输出不是零中心的问题。

Tanh激活函数将输入映射到-1到1之间的连续值，比sigmoid更强的非线性能力，但同样存在梯度消失和输出不是零中心的问题。

ReLU激活函数在输入为正数时直接输出，为负数时输出0，解决了sigmoid和tanh的梯度消失问题，但存在死亡ReLU问题（某些神经元可能永远不会被激活）。

LeakyReLU激活函数在输入为负数时输出一个小的斜率，解决了死亡ReLU问题。

ELU激活函数在输入为负数时输出一个接近于0的指数函数，解决了死亡ReLU问题和tanh的输出不是零中心问题。

对于使用ResNet网络，可以使用ReLU或LeakyReLU来提升训练效果。通常情况下，ReLU是一个不错的选择，但如果在训练过程中遇到死亡ReLU问题，可以尝试使用LeakyReLU。