torch apply

### 如何在PyTorch中应用操作或函数

在PyTorch中，可以通过多种方式来定义并应用操作或函数。对于简单的数学运算可以直接利用张量（tensor）支持的操作符完成；而对于更复杂的功能，则可以借助于`torch.nn.functional`模块中的方法。

#### 使用内置函数

许多常见的激活函数、损失函数以及卷积层等都可以通过调用`torch.nn.functional`里的相应接口实现：

import torch
import torch.nn.functional as F

input_tensor = torch.randn(2, 3)
output_tensor = F.relu(input_tensor)

print(output_tensor)

此段代码展示了如何使用ReLU作为激活函数处理输入数据[^1]。

#### 自定义Python函数转换为可导形式

当需要自定义计算逻辑时，如果该逻辑能够表达成一系列标准算子组合而成的形式，那么就可以直接编写对应的Python函数，并将其应用于模型之中。需要注意的是，在这种情况下，由于每次迭代都会重新构建图结构，因此允许动态改变控制流语句而不会影响梯度传播过程[^2]。

例如下面的例子实现了Leaky ReLU变体：

def custom_leaky_relu(x):
    alpha = 0.1
    return (x >= 0).float() * x + (x < 0).float() * alpha * x

input_tensor = torch.tensor([-1., 2., -3., 4.], requires_grad=True)
output_tensor = custom_leaky_relu(input_tensor)

loss = output_tensor.sum()
loss.backward()

print(f'Input tensor: {input_tensor}')
print(f'Gradient after backward pass: {input_tensor.grad}')

这段代码不仅说明了怎样创建一个新的激活函数，还演示了反向传播过程中自动求解梯度的能力。

#### 将模型保存为TorchScript格式

为了使训练好的神经网络能够在不依赖Python解释器的情况下运行，还可以考虑采用TorchScript技术将整个程序序列化存储下来。这使得部署变得更为简便高效。

traced_script_module = torch.jit.trace(custom_leaky_relu, example_input=(torch.rand((1))))
traced_script_module.save("custom_activation.pt")