在《西游记》全文中，统计不同频段的词汇分布情况：查询词汇频率在[0-100]、[100-1000]、[1000-5000]、[5000以上]等的分布情况。‪D:\xiyouji.txt 我需要完整的jupter代码

为了分析《西游记》全书的词汇分布情况，我们可以使用Python的nltk库进行文本处理，pandas库用于数据处理，以及matplotlib或seaborn库进行可视化。假设`D:\xiyouji.txt`是一个包含《西游记》文本的txt文件，以下是完整的一段Jupyter Notebook代码示例：

import string
import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from collections import Counter
import pandas as pd

# 读取文本文件
with open(r"D:\xiyouji.txt", "r", encoding="utf-8") as file:
    text = file.read()

# 删除标点符号和停用词
translator = str.maketrans("", "", string.punctuation)
stop_words = set(stopwords.words('chinese'))
filtered_text = [word.lower() for word in word_tokenize(text) if word.isalpha() and word.lower() not in stop_words]

# 分词频率统计
freq_dist = Counter(filtered_text)

# 统计不同频段的词汇分布
bins = [0, 100, 1000, 5000, float('inf')]
bin_counts = [[count for count in freq_dist.values() if bins[i] <= count < bins[i+1]] for i in range(len(bins)-1)]

# 将结果转换为DataFrame
df = pd.DataFrame(index=['[0-100]', '[100-1000]', '[1000-5000]', '5000以上'], data=bin_counts, columns=[f"词频{i}" for i in range(1, len(bin_counts)+1)])

# 数据可视化
import matplotlib.pyplot as plt
plt.figure(figsize=(10, 6))
df.plot(kind='bar')
plt.xlabel('词汇频段')
plt.ylabel('单词数量')
plt.title('《西游记》词汇频次分布')
plt.show()

这段代码首先导入必要的库，然后读取文本并预处理（去除标点和停用词），接着计算每个词的频率，并将频率分为四个区间进行统计。最后，它会生成一个柱状图展示每个频段的词汇数。