requests爬取豆瓣top250
时间: 2023-06-05 21:47:51 浏览: 221
爬取豆瓣电影Top250数据
5星 · 资源好评率100%
可以使用Python中的requests库来爬取豆瓣电影Top250的数据。首先需要使用requests发送HTTP请求获取网页内容,然后使用BeautifulSoup库解析网页内容,提取出需要的数据。具体步骤如下:
1. 导入requests和BeautifulSoup库
```
import requests
from bs4 import BeautifulSoup
```
2. 发送HTTP请求获取网页内容
```
url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text
```
3. 解析网页内容,提取出需要的数据
```
soup = BeautifulSoup(html, 'html.parser')
movies = soup.find_all('div', class_='info')
for movie in movies:
title = movie.find('span', class_='title').text
rating = movie.find('span', class_='rating_num').text
print(title, rating)
```
这样就可以爬取豆瓣电影Top250的电影名称和评分了。
阅读全文