python爬虫爬取商品评论并显示
时间: 2023-05-29 13:02:51 浏览: 246
此题需要两个步骤:爬取商品评论、显示评论。
1. 爬取商品评论
通过Python的request和beautifulsoup库可以实现爬取商品评论。
首先需要找到需要爬取的网站的URL,并且掌握该网站的结构和数据的获取方式。在这里我们以京东为例进行说明。
import requests
from bs4 import BeautifulSoup
# 京东商品url
url = 'https://item.jd.com/100012043978.html'
# 获取网页html源码
html = requests.get(url).text
# 解析html源码
soup = BeautifulSoup(html, 'html.parser')
# 获取评论列表
comments = []
for comment in soup.find_all('div', class_='comment-item'):
content = comment.find('div', class_='comment-con').getText().strip()
comments.append(content)
print(comments)
2. 显示评论
可以采用Python Tkinter库来实现一个简单的图形界面,将爬取到的评论展示出来。
import tkinter as tk
from tkinter.scrolledtext import ScrolledText
# 顶层窗口
window = tk.Tk()
window.title('商品评论')
# 滚动条文本框
text_box = ScrolledText(window, width=50, height=20)
text_box.pack()
# 定义显示评论函数
def show_comments():
# 京东商品url
url = 'https://item.jd.com/100012043978.html'
# 获取网页html源码
html = requests.get(url).text
# 解析html源码
soup = BeautifulSoup(html, 'html.parser')
# 获取评论列表
comments = []
for comment in soup.find_all('div', class_='comment-item'):
content = comment.find('div', class_='comment-con').getText().strip()
comments.append(content)
# 将评论放入滚动条文本框中
for comment in comments:
text_box.insert(tk.END, comment + '\n')
# 显示按钮
button = tk.Button(window, text='显示评论', command=show_comments)
button.pack()
# 运行窗口
window.mainloop()
运行代码,点击“显示评论”按钮即可爬取商品评论并在窗口中显示。
阅读全文