python爬取豆瓣TOP100电影
时间: 2023-10-07 14:14:53 浏览: 138
python豆瓣电影的爬取
5星 · 资源好评率100%
如果你想爬取豆瓣TOP100电影,你可以使用Python的第三方库来帮助你爬取网页信息。
你可以使用Python的requests库来发送HTTP请求并获取网页的内容,再使用Python的Beautiful Soup库来解析网页并提取你想要的信息。
下面是一个简单的例子,它爬取了豆瓣TOP100电影的电影名和评分:
```python
import requests
from bs4 import BeautifulSoup
# 发送HTTP请求并获取网页内容
url = 'https://movie.douban.com/chart'
response = requests.get(url)
html = response.text
# 使用Beautiful Soup解析网页并提取信息
soup = BeautifulSoup(html, 'html.parser')
movies = soup.find_all(class_='pl2')
for movie in movies:
title = movie.find('a')['title']
rating = movie.find(class_='rating_nums').text
print(title, rating)
```
在这个例子中,我们使用了requests库发送HTTP请求并获取了网页的内容,然后使用Beautiful Soup解析网页并提取了我们想要的信息。
希望这个例子对你有帮助!
阅读全文