python爬虫豆瓣电影top100
时间: 2023-11-08 10:48:47 浏览: 158
Python爬虫获取豆瓣电影并写入excel
要使用Python爬取豆瓣电影Top100的信息,你可以参考以下步骤:
1. 导入所需的库:
```
import requests
from bs4 import BeautifulSoup
```
2. 发送HTTP请求并获取网页内容:
```
url = 'https://movie.douban.com/chart'
response = requests.get(url)
html = response.text
```
3. 使用Beautiful Soup解析网页并提取信息:
```
soup = BeautifulSoup(html, 'html.parser')
movies = soup.find_all(class_='pl2')
```
4. 遍历电影列表并获取电影名和评分:
```
for movie in movies:
title = movie.find('a')['title']
rating = movie.find(class_='rating_nums').text
print(title, rating)
```
这样,你就可以通过上述代码爬取豆瓣电影Top100的电影名和评分信息了。这个例子是一个简单的爬虫示例,你可以根据自己的需求进行修改和扩展。
阅读全文