python爬取豆瓣电影数据
时间: 2023-08-26 07:07:01 浏览: 134
爬取豆瓣电影.zip
要爬取豆瓣电影数据,你需要使用 Python 爬虫。下面是一个简单的示例代码,可以帮助你开始:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
movies = soup.select('ol.grid_view li')
for movie in movies:
title = movie.select('div.hd a span.title')[0].get_text()
rating = movie.select('div.star span.rating_num')[0].get_text()
print(title, rating)
```
这个代码会爬取豆瓣电影 Top 250 的电影名称和评分,并打印出来。你可以根据自己的需要,进一步解析页面内容,爬取更多的信息。注意,爬取网站的数据需要遵守相关法律法规和网站的规定,不要进行非法操作。
阅读全文