nn.ModuleList()和 nn.Sequential()有什么区别？

nn.ModuleList()和nn.Sequential()都是PyTorch中用于组织神经网络模块的容器。它们的区别在于：

1. nn.ModuleList()是一个简单的列表容器，用于存储各种类型的模块。它没有定义前向传播函数，需要用户自己定义每个模块的前向传播操作。使用nn.ModuleList()时，必须手动指定每个模块的顺序，并手动调用每个模块的前向传播函数。

2. nn.Sequential()是一个按顺序执行的容器，它以顺序方式包装了一系列模块，并自动定义了前向传播函数。当使用nn.Sequential()时，模块被按照其在Sequential中的顺序依次执行。

综上所述，nn.ModuleList()提供了更大的灵活性，允许自定义模块的顺序和操作方式，而nn.Sequential()更适合顺序执行多个模块的情况，特别是当每个模块都有一个明确的输入和输出时。

相关问题

nn.ModuleList() 和nn.Sequential()

### PyTorch `nn.ModuleList` 和 `nn.Sequential` 的区别及用法

#### 定义与功能差异

`nn.ModuleList` 是一种容器模块，用于存储子模块列表。这使得可以像处理常规 Python 列表一样操作这些子模块，但同时也确保它们被正确注册到父模块中以便于优化器能够访问其参数。

相比之下，`nn.Sequential` 提供了一种更简洁的方式来定义一系列按顺序执行的操作。当构建模型时如果各层之间只是简单的线性连接而不需要额外逻辑控制，则使用此方法非常方便[^1]。

#### 使用场景对比

对于较为复杂的架构设计，在某些特定条件下可能需要动态调整网络结构或是插入条件分支等情况，此时更适合采用 `ModuleList` 来实现灵活性更高的定制化需求；而对于那些层次间仅存在简单串联关系的标准前馈型神经网络来说，利用 `Sequential` 可简化代码编写过程并提高可读性[^4]。

#### 实际应用案例展示

下面通过两个例子来具体说明这两种方式的应用：

##### 使用 `nn.ModuleList`

假设要创建一个多头注意力机制中的多个平行路径（heads），每个路径都由相同的几层组成但是彼此独立工作不共享权重:

import torch.nn as nn

class MultiHeadAttention(nn.Module):
    def __init__(self, num_heads=8, d_model=512):
        super(MultiHeadAttention, self).__init__()
        
        # 创建num_heads个相同配置的小网络作为不同head
        self.heads = nn.ModuleList([nn.Linear(d_model, d_model) for _ in range(num_heads)])
    
    def forward(self, x):
        outputs = []
        for head in self.heads:
            out = head(x)
            outputs.append(out)
        return torch.stack(outputs, dim=-1).mean(dim=-1)

model = MultiHeadAttention()
print(model)

##### 使用 `nn.Sequential`

再来看一个更加基础的例子——搭建一个普通的全连接分类器，这里每一层都是按照固定顺序依次作用于输入之上，因此非常适合用 `Sequential` 构建:

import torch.nn.functional as F
from torchvision import datasets, transforms

transform = transforms.Compose([
    transforms.ToTensor(),
])

train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)


class SimpleClassifier(nn.Module):
    def __init__(self):
        super(SimpleClassifier, self).__init__()

        self.layers = nn.Sequential(
            nn.Flatten(),  # 将二维图片展平成一维向量
            nn.Linear(784, 1024),
            nn.ReLU(),
            nn.Dropout(p=0.3),

            nn.Linear(1024, 512),
            nn.ReLU(),
            nn.Dropout(p=0.3),

            nn.Linear(512, 256),
            nn.ReLU(),
            nn.Dropout(p=0.3),

            nn.Linear(256, 10),  
            nn.LogSoftmax(dim=1)   
        )

    def forward(self, x):
        logits = self.layers(x)
        return logits


classifier = SimpleClassifier()
print(classifier)

nn.ModuleList() 和nn.Sequential()的不同

nn.ModuleList()和nn.Sequential()是PyTorch中两种不同的容器类型。它们的主要区别可以总结如下：

1. nn.ModuleList()是一个按顺序存储模块的列表容器。它可以存储不同类型的模块，并且在forward方法中可以自由组合调用这些模块。它类似于Python中的普通列表，可以使用extend、append等方法进行操作。

2. nn.Sequential()是一个按顺序执行的模块容器。它自带了forward()方法，无需显式调用。在nn.Sequential()中，网络层必须按照顺序执行，上一层的输出必须与下一层的输入大小一致。因此，nn.Sequential()适用于顺序执行的模型。