AttributeError: 'Tokenizer' object has no attribute 'get_vocab_size'

从错误信息来看，`AttributeError: 'Tokenizer' object has no attribute 'get_vocab_size'`，这表明你正在尝试访问`Tokenizer`对象的`get_vocab_size`属性，但该对象并没有这个属性

在许多NLP库中，如`spacy`或`gensim`，`Tokenizer`对象通常用于将文本分解为词袋（或词嵌入）但这些库通常没有提供直接获取词汇表大小的属性或方法

如果你想获取词汇表的大小，你可能需要使用库中提供的其他方法，或者手动计算它以下是一些可能的解决方案：

1. **如果你使用的是Spacy库**：你可以使用`Vocab`对象来获取词汇表的大小

import spacy

nlp = spacy.load('en_core_web_sm')  # 加载英文模型
vocab = nlp.vocab  # Vocab对象包含了词汇表的信息
print(vocab.count)  # 输出词汇表的大小

2. **如果你使用的是gensim库**：你可以通过遍历词汇表来手动计算大小以下是一个示例：

from gensim.corpora import Dictionary

dictionary = Dictionary(your_text)  # 替换为你的文本数据
print(len(dictionary.keys()))  # 输出词汇表的大小

请根据你的实际使用情况选择合适的解决方案如果你能提供更多关于你的代码和你使用的库的信息，我可能能给出更具体的帮助