我想用python爬取豆瓣电影top100的数据,代码怎么写
时间: 2023-10-10 19:05:09 浏览: 74
你好!对于这个问题,我可以为您提供一些技术建议。首先,您可以使用 Python 中的 requests 库来请求网页,并且使用 Beautiful Soup 来解析 HTML。以下是代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
results = soup.find_all('div', class_='info')
for result in results:
title = result.find('span', class_='title').text
rating = result.find('span', class_='rating_num').text
print(title, rating)
```
这段代码可以爬取豆瓣电影 top250 的电影标题和评分,并打印出来。您可以根据自己的需要进行修改。希望对您有帮助!
阅读全文