是最受欢迎的影评中的电影名和作者
时间: 2024-03-30 22:35:38 浏览: 7
好的,那我们可以使用 Python 的 requests 库和 BeautifulSoup 库来实现豆瓣电影爬虫。以下是代码实现:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/review/best/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
for item in soup.select('.main.review-item'):
title = item.select_one('.review-item-header a').text.strip()
author = item.select_one('.name a').text.strip()
print('电影名:', title)
print('作者:', author)
print('---------------------')
```
运行上述代码,即可输出最受欢迎的影评中的电影名和作者。需要注意的是,由于豆瓣网站的反爬虫机制比较强,为了避免被封 IP,我们需要设置 User-Agent 请求头,并且可以考虑加上代理池等反反爬虫技术。