用python实现一个爬虫抓取电影满江红的评论
时间: 2023-06-26 12:08:34 浏览: 102
好的,我可以帮你回答这个问题。
首先,我们需要用Python中的requests库向目标网站发送请求,并通过解析HTML页面来获取数据。在这里,我们可以使用BeautifulSoup库来解析HTML。
以下是一个简单的Python爬虫程序示例,可以获取电影《满江红》在豆瓣网站上的评论:
```python
import requests
from bs4 import BeautifulSoup
# 发送请求并获取HTML页面
url = 'https://movie.douban.com/subject/30335687/comments?start=0&limit=20&sort=new_score&status=P'
response = requests.get(url)
html = response.text
# 解析HTML页面,获取评论内容
soup = BeautifulSoup(html, 'html.parser')
comments = soup.find_all('span', class_='short')
for comment in comments:
print(comment.get_text())
```
这个程序中,我们定义了一个变量"url",用来存放目标网站的URL地址。然后,我们使用requests库向该地址发送了一个GET请求,并通过response.text属性获取到了该网站的HTML页面。接着,我们使用BeautifulSoup库解析HTML页面,获取了每一条评论的内容。最后,我们使用for循环遍历获取到的评论,使用get_text()方法获取评论文本并打印输出。
阅读全文