用python代码实现对去停用词的文档进行词频统计，即统计每个词出现的次数。

可以使用 Python 中的 nltk 库来实现去停用词的文档进行词频统计。以下是示例代码：

import nltk
from nltk.corpus import stopwords
from collections import Counter

# 读入文本文件
with open('example.txt', 'r', encoding='utf-8') as f:
    text = f.read().lower()  # 转成小写

# 分词
words = nltk.word_tokenize(text)

# 去停用词
stop_words = set(stopwords.words('english'))  # 英文停用词表
filtered_words = [w for w in words if not w in stop_words]

# 统计词频
word_freq = Counter(filtered_words)

# 输出结果
print(word_freq.most_common(10))  # 显示出现频率最高的前10个词

其中，example.txt 是要进行词频统计的文本文件，可以替换成你自己的文本文件名。输出的结果是出现频率最高的前10个词及其出现次数，可根据需要进行调整。

相关问题

用python代码实现对去停用词的文档进行词频统计，即统计每个词出现的次数，并实现次数的由大到小排序

可以使用Python中的nltk库来进行去停用词和词频统计。以下是一个简单的示例代码：

import nltk
from nltk.corpus import stopwords
from collections import Counter

# 读取文本并分词
with open('example.txt', 'r') as f:
    text = f.read()

tokens = nltk.word_tokenize(text)

# 去停用词
stop_words = set(stopwords.words('english'))
filtered_tokens = [word for word in tokens if word.lower() not in stop_words]

# 统计词频
word_count = Counter(filtered_tokens)

# 按词频由大到小排序
sorted_word_count = sorted(word_count.items(), key=lambda x: x[1], reverse=True)

# 输出结果
for word, count in sorted_word_count:
    print(word, count)

其中，`example.txt`是要进行词频统计的文本文件。首先通过`nltk.word_tokenize()`函数进行分词，然后使用NLTK库中提供的英文停用词集合去除停用词。接着使用Python的`collections.Counter()`函数统计词频，最后使用Python的`sorted()`函数按词频由大到小排序。

用python代码实现利用分词工具如jieba对训练接的数据进行分词，每个类别一个文档，保存在原文件名+token.txt。利用停用词词表，对分词后的文档进行去停用词。对去停用词的文档进行词频统计，即统计每个词出现的次数。

好的，这个问题属于技术问题，非常适合我回答。下面是你要求的 Python 代码实现：

import jieba
from collections import Counter

# 定义停用词列表
stopwords = ['的', '了', '是', '在', '我', '有', '和', '就', '不', '人', '都', '一', '一个', '上', '也', '很', '到', '说', '要', '去', '你', '会', '着', '没有', '看', '好', '自己', '这']

# 定义不同类别的文件名列表
filename_list = ['class1.txt', 'class2.txt', 'class3.txt']

# 分词、去停用词、统计词频并保存结果
for filename in filename_list:
    with open(filename, 'r', encoding='utf-8') as f:
        content = f.read()
        seg_list = jieba.cut(content)
        filtered_words = []
        for word in seg_list:
            if word not in stopwords:
                filtered_words.append(word)
        word_count = Counter(filtered_words)
        with open('token.txt', 'a', encoding='utf-8') as f2:
            f2.write(filename + '\n')
            for key, value in word_count.items():
                f2.write(key + ':' + str(value) + ' ')
            f2.write('\n')

这段代码将不同类别的文件逐个处理，首先进行分词，然后根据停用词列表去掉无意义的词语，最后利用 Python 的 `collections` 模块中的 `Counter` 函数进行词频统计。结果将保存在文件名为 `token.txt` 的文件中，每个类别一个文档，文档名即为原始文件名。