def activation_Exp(x): return 1.0*(tf.math.exp(x) -1.0) def activation_ln(x): return -1.0*tf.math.log(1.0 - (x))

这段代码定义了两个激活函数，分别为 `activation_Exp` 和 `activation_ln`。

其中，`activation_Exp` 函数采用了指数函数的形式，对输入 $x$ 进行变换，使其输出在 $[0, +\infty)$ 的范围内，公式为：

$$
f(x) = e^x - 1
$$

`activation_ln` 函数则采用了对数函数的形式，对输入 $x$ 进行变换，使其输出在 $(-\infty, 0]$ 的范围内，公式为：

$$
f(x) = -\ln(1-x)
$$

这两个激活函数的作用是将输入的数据进行非线性转换，增加模型的表达能力，能够更好地拟合复杂的数据分布。

相关问题

import numpy import scipy.special class NeuralNetwork(): def __init__(self,inputnodes,hiddennodes,outputnodes,learningrate): self.inodes=inputnodes self.hnodes=hiddennodes self.onodes=outputnodes self.lr=learningrate self.wih=numpy.random.normal(0.0,pow(self.hnodes,-0.5),(self.hnodes,self.inodes)) self.who=numpy.random.normal(0.0,pow(self.onodes,-0.5),(self.onodes,self.hnodes)) self.activation_function=lambda x:scipy.special.expit(x) pass def train(self,input_list,target_list): inputs=numpy.array(input_list,ndmin=2).T targets=numpy.array(target_list,ndmin=2).T hidden_inputs=numpy.dot(self.wih,inputs) hidden_outputs=self.activation_function(hidden_inputs) final_inputs=numpy.dot(self.who,hidden_outputs) final_outputs=self.activation_function(final_inputs) output_errors=targets-final_outputs hidden_errors=numpy.dot(self.who.T,output_errors) self.who+=self.lr*numpy.dot((output_errors*final_outputs*(1.0-final_outputs)),numpy.transpose(hidden_outputs)) self.wih+=self.lr*numpy.dot((hidden_errors*hidden_outputs*(1.0-hidden_outputs)),numpy.transpose(inputs)) pass def query(self,input_list): inputs=numpy.array(input_list,ndmin=2).T hidden_inputs=numpy.dot(self.wih,inputs) hidden_outputs=self.activation_function(hidden_inputs) final_inputs=numpy.dot(self.who,hidden_outputs) final_outputs=self.activation_function(final_inputs) return final_outputs print('n')写一下注释

以下是对代码的注释：

import numpy
import scipy.special

class NeuralNetwork():
    def __init__(self,inputnodes,hiddennodes,outputnodes,learningrate):
        # 初始化神经网络的输入层、隐藏层、输出层的节点数以及学习率
        self.inodes = inputnodes
        self.hnodes = hiddennodes
        self.onodes = outputnodes
        self.lr = learningrate
        
        # 初始化输入层到隐藏层和隐藏层到输出层的权重
        # 对权重进行随机初始化，取值范围为均值为0，标准差为节点数的负平方根
        self.wih = numpy.random.normal(0.0, pow(self.hnodes, -0.5), (self.hnodes, self.inodes))
        self.who = numpy.random.normal(0.0, pow(self.onodes, -0.5), (self.onodes, self.hnodes))
        
        # 定义激活函数为 sigmoid 函数
        self.activation_function = lambda x: scipy.special.expit(x)
    
    def train(self,input_list,target_list):
        # 将输入列表和目标列表转换为二维数组
        inputs = numpy.array(input_list, ndmin=2).T
        targets = numpy.array(target_list, ndmin=2).T
        
        # 计算隐藏层的输入和输出
        hidden_inputs = numpy.dot(self.wih, inputs)
        hidden_outputs = self.activation_function(hidden_inputs)
        
        # 计算输出层的输入和输出
        final_inputs = numpy.dot(self.who, hidden_outputs)
        final_outputs = self.activation_function(final_inputs)
        
        # 计算输出层误差和隐藏层误差
        output_errors = targets - final_outputs
        hidden_errors = numpy.dot(self.who.T, output_errors)
        
        # 更新隐藏层到输出层和输入层到隐藏层的权重
        self.who += self.lr * numpy.dot((output_errors * final_outputs * (1.0 - final_outputs)), numpy.transpose(hidden_outputs))
        self.wih += self.lr * numpy.dot((hidden_errors * hidden_outputs * (1.0 - hidden_outputs)), numpy.transpose(inputs))
    
    def query(self,input_list):
        # 将输入列表转换为二维数组
        inputs = numpy.array(input_list, ndmin=2).T
        
        # 计算隐藏层的输入和输出
        hidden_inputs = numpy.dot(self.wih, inputs)
        hidden_outputs = self.activation_function(hidden_inputs)
        
        # 计算输出层的输入和输出
        final_inputs = numpy.dot(self.who, hidden_outputs)
        final_outputs = self.activation_function(final_inputs)
        
        # 返回最终输出
        return final_outputs

# 创建神经网络实例
input_nodes = 3
hidden_nodes = 3
output_nodes = 3
learning_rate = 0.3
n = NeuralNetwork(input_nodes,hidden_nodes,output_nodes,learning_rate)

# 使用训练数据进行训练
training_data = [[0.1, 0.2, 0.3], [0.4, 0.5, 0.6], [0.7, 0.8, 0.9]]
for data in training_data:
    n.train(data, data)

# 使用测试数据进行测试
test_data = [0.2, 0.5, 0.8]
print(n.query(test_data))

这个神经网络实现了一个简单的自编码器，训练数据和测试数据都是由一些简单的数字组成。

class MyDense(keras.layers.Layer): def __init__(self, units, activation=None, **kwargs): super().__init__(**kwargs) self.units = units self.activation = keras.activations.get(activation) def build(self, batch_input_shape): self.kernel = self.add_weight( name="kernel", shape=[batch_input_shape[-1], self.units], initializer="glorot_normal") self.bias = self.add_weight( name="bias", shape=[self.units], initializer="zeros") super().build(batch_input_shape) # must be at the end def call(self, X): return self.activation(X @ self.kernel + self.bias) def compute_output_shape(self, batch_input_shape): return tf.TensorShape(batch_input_shape.as_list()[:-1] + [self.units]) def get_config(self): base_config = super().get_config() return {**base_config, "units": self.units, "activation": keras.activations.serialize(self.activation)}

这段代码定义了一个自定义的Keras层，名为MyDense。该层继承了Keras的Layer类，重写了__init__、build、call等方法。

在__init__方法中，定义了该层的参数units（输出维度）和激活函数activation，同时调用了父类的__init__方法。

在build方法中，定义了该层的权重kernel和偏置bias，权重的初始化方式为glorot_normal，偏置的初始化方式为zeros。同时调用了父类的build方法。

在call方法中，实现了该层的前向传播，即输入X与权重kernel相乘并加上偏置bias，再通过激活函数activation进行激活得到输出。

在compute_output_shape方法中，返回该层的输出shape。

在get_config方法中，返回该层的配置信息，包括units和activation等参数。