python 爬虫评论词频统计

在Python中进行爬虫评论词频统计的方法如下：

1. 首先，你需要使用爬虫获取到评论数据。你可以使用Python的requests库发送HTTP请求获取网页内容，然后使用正则表达式或者BeautifulSoup库解析网页，提取评论内容。

2. 接下来，你需要对评论内容进行分词。你可以使用Python的jieba库进行中文分词，将评论内容分割成一个个词语。

3. 然后，你可以使用Python的collections库中的Counter类来统计词频。Counter类可以接受一个可迭代对象作为输入，并返回一个字典，其中包含了每个元素出现的次数。

4. 最后，你可以根据词频结果进行排序，以便找出出现频率最高的词语。你可以使用Python的sorted函数对词频字典进行排序，然后按照降序输出结果。

下面是一个示例代码：

import requests
import jieba
from collections import Counter

# 发送HTTP请求获取网页内容
url = 'http://example.com/comments'
response = requests.get(url)
html = response.text

# 使用正则表达式或BeautifulSoup库解析网页，提取评论内容
comments = extract_comments(html)

# 对评论内容进行分词
words = []
for comment in comments:
    words += jieba.lcut(comment)

# 统计词频
word_counts = Counter(words)

# 按照词频进行排序
sorted_word_counts = sorted(word_counts.items(), key=lambda x: x[1], reverse=True)

# 输出词频统计结果
for word, count in sorted_word_counts:
    print(word, count)