relu，sigmoid，softmax函数参数解释

1. ReLU函数：ReLU是一种激活函数，其全称为Rectified Linear Unit。ReLU函数的参数是一个输入值x，它的输出值为max(0, x)。即，如果输入值小于等于0，则输出值为0；如果输入值大于0，则输出值等于输入值本身。

2. Sigmoid函数：Sigmoid也是一种激活函数。它的参数是一个输入值x，它的输出值为1 / (1 + exp(-x))。Sigmoid函数的输出值范围在0和1之间，因此它常被用作二元分类的最后一层激活函数。

3. Softmax函数：Softmax是一种归一化函数。其参数是一个向量z，它的输出值为exp(z_i) / sum(exp(z_j))，其中i表示向量中的一个元素，j表示向量中的所有元素。Softmax函数将向量z中的每个元素映射到0和1之间的一个概率分布，使得所有元素的和为1，因此它通常被用作多元分类的最后一层激活函数。