python爬虫豆瓣电影数据
时间: 2023-11-08 09:47:31 浏览: 183
一个python 豆瓣电影的爬虫
5星 · 资源好评率100%
您好!对于爬取豆瓣电影数据,您可以使用Python的爬虫框架,例如Scrapy或BeautifulSoup。以下是一个简单的示代码,用于爬取豆瓣电影的名称和评分:
```python
import requests
from bs4 import BeautifulSoup
# 发起GET请求获取页面内容
url = 'https://movie.douban.com/top250'
response = requests.get(url)
# 使用BeautifulSoup解析页面内容
soup = BeautifulSoup(response.text, 'html.parser')
# 定位电影列表
movie_list = soup.select('.grid_view li')
# 遍历电影列表并提取数据
for movie in movie_list:
# 电影名称
title = movie.select('.title')[0].text
# 电影评分
rating = movie.select('.rating_num')[0].text
print('电影名称:', title)
print('电影评分:', rating)
print('---')
```
这段代码会爬取豆瓣电影Top250的电影名称和评分,并输出到控制台。您可以根据自己的需求进行进一步处理和存储数据。请注意,爬取网站数据时,请遵守网站的使用规则并尊重网站的反爬机制。
阅读全文