torch.selu

`torch.selu`是PyTorch库中的一个激活函数，全称是Scaled Exponential Linear Units。它是一种改进版的线性单元，其公式为：

\[ f(x) = \alpha \cdot (x > 0) \cdot x + \beta \cdot (x \leq 0) \cdot x \]

其中，`α`通常设置为1.6732632423543772848170429916717，是一个大的正数，用于放大正部分；`β`等于0.01，一个小的负数，用于压缩负部分。

`torch.selu()`函数可以自动处理输入数据并在计算过程中应用这个非线性转换，有助于优化深度神经网络模型，特别是在初始化权重时。相比其他激活函数如ReLU，SELU可以在训练初期保持较小的梯度爆炸风险，并且在某些情况下能提供更好的性能。