torch加载imdb

要加载IMDb数据集，可以使用PyTorch内置的torchtext库。下面是一个简单的代码示例：

import torch
from torchtext.datasets import IMDB
from torchtext.data.utils import get_tokenizer
from torchtext.vocab import build_vocab_from_iterator

# 加载IMDb数据集
train_dataset, test_dataset = IMDB()

# 定义分词器和词汇表
tokenizer = get_tokenizer('basic_english')
vocab = build_vocab_from_iterator(map(tokenizer, train_dataset), specials=['<unk>', '<pad>', '<bos>', '<eos>'])

# 打印词汇表大小
print('Vocab size:', len(vocab))

在这个例子中，我们首先使用`IMDB()`函数加载IMDb数据集，并将其分为训练集和测试集。然后，我们定义了一个基本英语分词器和一个词汇表，用于将文本数据转换为数字数据。最后，我们打印了词汇表的大小。