python爬虫爬取豆瓣影评
时间: 2023-07-11 10:56:52 浏览: 166
python爬取豆瓣评分
好的,下面是一个简单的Python爬虫爬取豆瓣电影《肖申克的救赎》的影评的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/subject/1292052/comments?status=P'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
comments = soup.findAll('span', {'class': 'short'})
for comment in comments:
print(comment.getText())
```
这个代码使用了requests和BeautifulSoup库来爬取网页和解析网页内容。首先,我们定义了要爬取的网址和请求头。然后,我们使用requests库发送HTTP GET请求并获得响应。接着,我们使用BeautifulSoup库解析响应的HTML内容,并使用findAll方法找到所有的短评,并打印输出。
阅读全文