用requests爬取豆瓣电影
时间: 2023-12-18 20:04:16 浏览: 180
Python豆瓣电影评论爬虫(request)
5星 · 资源好评率100%
好的,以下是使用 Python 语言和 requests 库爬取豆瓣电影 Top250 的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
for movie in soup.select('.item'):
name = movie.select('.title')[0].text.strip()
rating = movie.select('.rating_num')[0].text.strip()
director = movie.select('.bd')[0].select('p')[0].text.strip().split('\n')[0][4:].strip()
actors = movie.select('.bd')[0].select('p')[0].text.strip().split('\n')[1][4:].strip()
print(name, rating, director, actors)
```
这段代码会爬取豆瓣电影 Top250 的电影名称、评分、导演和演员,并将这些信息打印出来。您可以根据自己的需要对代码进行修改。请注意,爬取网站的行为可能会违反该网站的使用条款,所以在使用爬虫前请确保您已经获得了网站的授权。
阅读全文