torch.nn.sequential apply

torch.nn.Sequential是一个容器，用于按顺序组织神经网络的模块。它的apply方法可以应用一个函数（如init_weights）到Sequential容器中的每个模块。具体来说，在apply内部，它会遍历Sequential的子模块并应用给定的函数，然后对自身应用该函数。在上面的示例中，当调用net.apply(init_weights)时，init_weights函数被应用到Sequential容器中的每个nn.Linear模块。

相关问题

torch.nn.Conv1d

torch.nn.Conv1d is a class in the PyTorch library that represents a 1-dimensional convolutional layer. The Conv1d layer applies a 1D convolution operation on the input tensor. It is commonly used in deep learning models for processing one-dimensional sequential data such as time series, audio signals, or text data.

The Conv1d layer takes as input a 3D tensor with dimensions (batch_size, input_channels, input_length) and applies a convolution operation using a set of learnable filters. The filters slide over the input tensor along one dimension to produce a set of output channels. The output tensor has dimensions (batch_size, output_channels, output_length), where output_length depends on the padding and stride parameters.

The Conv1d layer has several parameters that can be set, including the number of input and output channels, the size of the convolutional kernel, the stride, padding, and dilation rates. These parameters allow the Conv1d layer to be customized for different applications.

Example usage:

import torch

# Define a Conv1d layer with 16 input channels, 32 output channels, and a kernel size of 3
conv1d_layer = torch.nn.Conv1d(in_channels=16, out_channels=32, kernel_size=3)

# Define an input tensor with dimensions (batch_size=4, input_channels=16, input_length=100)
input_tensor = torch.randn(4, 16, 100)

# Apply the Conv1d layer to the input tensor
output_tensor = conv1d_layer(input_tensor)

# The output tensor has dimensions (batch_size=4, output_channels=32, output_length=98)
print(output_tensor.shape)

torch.nn.Linear 参数初始化

### PyTorch 中 `torch.nn.Linear` 参数初始化方法

在构建神经网络时，权重和偏置的初始值对于训练过程至关重要。不恰当的初始化可能导致梯度消失或爆炸等问题，影响模型的学习效率。

#### 使用默认初始化方式
当创建一个新的线性层实例时，默认情况下会自动调用 Kaiming Uniform 初始化器来设置该模块内部张量的数据分布[^2]：

import torch
from torch import nn

linear_layer = nn.Linear(784, 256)
print(linear_layer.weight.data)  # 查看当前权重量化后的随机数

#### 自定义初始化函数
除了依赖框架自带的方式外，还可以通过重写 `_initialize_weights()` 或者直接操作 `.weight` 属性来进行个性化配置。这里给出几种常见的做法：

##### Xavier/Glorot 均匀分布初始化
Xavier 是一种广泛采用的技术，它考虑到了每一层输入输出节点数量之间的关系，从而使得信号能够稳定传递给下一层。

def init_xavier_uniform(layer):
    if type(layer) == nn.Linear:
        torch.nn.init.xavier_uniform_(layer.weight)

model = nn.Sequential(
    nn.Flatten(),
    nn.Linear(784, 256),
    nn.ReLU()
).apply(init_xavier_uniform)

##### 正态/高斯分布初始化
有时也可能会希望按照标准正态分布 N(0, σ²) 来分配这些参数，在这种场景下可以利用 `normal_()` 函数完成任务。

for param in linear_layer.parameters():
    if len(param.shape) > 1:  # 只处理二维以上的张量（即权重）
        torch.nn.init.normal_(param, mean=0., std=0.01)

##### 随机均匀分布初始化
如果想要让所有的数值都落在某个特定区间内，则可以选择 uniform_() 方法实现这一点。

nn.init.uniform_(tensor=linear_layer.bias, a=-0.1, b=0.1)

上述三种方案各有优劣之处，实践中可以根据具体情况灵活选用最适合自己项目的那一款。