activations.py代码

以下是一个简单的 activations.py 代码示例，其中包含了几个常见的激活函数（ReLU、sigmoid、tanh）的实现：

import numpy as np

def relu(Z):
    """
    ReLU 激活函数
    """
    return np.maximum(0, Z)

def sigmoid(Z):
    """
    sigmoid 激活函数
    """
    return 1 / (1 + np.exp(-Z))

def tanh(Z):
    """
    tanh 激活函数
    """
    return np.tanh(Z)

在这个示例中，我们使用 numpy 库实现了这些激活函数。在实际使用中，我们可以将这个文件导入到我们的神经网络实现中，并在定义层时指定激活函数。例如，如果我们想在某一层使用 ReLU 激活函数，我们可以这样写：

class DenseLayer:
    def __init__(self, input_size, output_size, activation='relu'):
        self.weights = ...
        self.bias = ...
        if activation == 'relu':
            self.activation_function = relu
        elif activation == 'sigmoid':
            self.activation_function = sigmoid
        elif activation == 'tanh':
            self.activation_function = tanh
        else:
            raise ValueError("Invalid activation function: {}".format(activation))
    ...

这样，我们就可以在定义每一层时选择不同的激活函数了。