怎么用origin话gelu激活函数图像

1. 导入需要的库和模块：

import torch
import matplotlib.pyplot as plt
import math

2. 定义GELU激活函数：

def gelu(x):
    return 0.5 * x * (1 + torch.tanh(math.sqrt(2 / math.pi) * (x + 0.044715 * torch.pow(x, 3))))

3. 定义x轴范围和步长：

x = torch.arange(-5, 5, 0.1)

4. 计算y轴的值：

y = gelu(x)

5. 绘制图像：

plt.plot(x.numpy(), y.numpy())
plt.title('GELU Activation Function')
plt.xlabel('x')
plt.ylabel('y')
plt.show()

完整代码如下：

import torch
import matplotlib.pyplot as plt
import math

def gelu(x):
    return 0.5 * x * (1 + torch.tanh(math.sqrt(2 / math.pi) * (x + 0.044715 * torch.pow(x, 3))))

x = torch.arange(-5, 5, 0.1)
y = gelu(x)

plt.plot(x.numpy(), y.numpy())
plt.title('GELU Activation Function')
plt.xlabel('x')
plt.ylabel('y')
plt.show()

运行代码后，会绘制出GELU激活函数的图像。