python爬虫抓取豆瓣评论
时间: 2023-06-22 15:45:15 浏览: 60
好的,这是一个比较常见的需求,下面是一个简单的Python爬虫抓取豆瓣电影评论的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 豆瓣电影评论页面URL
url = 'https://movie.douban.com/subject/26794435/comments?start=0&limit=20&sort=new_score&status=P'
# 请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送请求获取页面内容
response = requests.get(url, headers=headers)
# 解析页面内容
soup = BeautifulSoup(response.text, 'html.parser')
# 获取评论内容
comments = soup.find_all('span', {'class': 'short'})
# 打印评论内容
for comment in comments:
print(comment.text.strip())
```
以上代码会输出豆瓣电影《摔跤吧!爸爸》的前20条评论。你可以根据自己的需求修改URL和抓取评论的数量。另外请注意不要过度频繁地爬取同一网站,遵守相关法律法规和道德规范。