如何使用torch查看多输入bert模型的参数量

要使用PyTorch查看BERT模型（如Hugging Face的`BertModel`）的参数量，你可以按照以下步骤操作：

1. 导入所需的库和预训练模型:

import torch
from transformers import BertTokenizer, BertModel

2. 加载BERT模型及其tokenizer:

model_name = "bert-base-chinese" 或者 "bert-base-uncased"
bertModel = BertModel.from_pretrained(model_name, output_hidden_states=True, output_attentions=True)
tokenizer = BertTokenizer.from_pretrained(model_name)

3. 计算并打印总参数数:

total_params = sum(p.numel() for p in bertModel.parameters())
print(f"Total parameter count: {total_params}")

这将显示整个BERT模型的参数数量。

如果需要查看每个参数的具体形状（即维度），可以遍历模型的参数名称和它们的形状：

for name, param in bertModel.named_parameters():
    print(f"{name}: shape - {param.shape}")

这样可以得到每个层或权重矩阵的详细结构。