我想用python爬取豆瓣top100电影数据
时间: 2023-08-24 19:08:35 浏览: 39
好的,你可以使用Python中的requests和BeautifulSoup库来实现这个任务。
首先你需要安装这两个库,你可以使用以下命令在终端或命令行中安装它们:
```
pip install requests
pip install beautifulsoup4
```
接下来,你需要发送一个GET请求到豆瓣电影top100页面,并获取HTML响应。可以使用以下代码:
```python
import requests
url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text
```
接下来,你需要使用BeautifulSoup库解析HTML响应并提取数据。可以使用以下代码:
```python
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
movies = soup.find_all('div', class_='info')
for movie in movies:
title = movie.find('span', class_='title').text
rating = movie.find('span', class_='rating_num').text
print(title + ' ' + rating)
```
以上代码会从top100页面中提取出每个电影的标题和评分,并将它们打印出来。
当然,这只是提取电影标题和评分的基本示例,你可以根据需要提取更多的数据。同时,你还需要处理分页和一些反爬虫机制。