爬取豆瓣电影TOP250代码
时间: 2023-10-03 07:05:15 浏览: 92
以下是使用 Python 语言和 requests、BeautifulSoup 库爬取豆瓣电影TOP250的代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
movies = []
for i in range(0, 250, 25):
r = requests.get(url + '?start=' + str(i), headers=headers)
soup = BeautifulSoup(r.text, 'html.parser')
items = soup.find_all('div', class_='item')
for item in items:
movie = {}
movie['rank'] = item.find('div', class_='pic').em.text
movie['title'] = item.find('div', class_='hd').a.text.strip()
movie['star'] = item.find('div', class_='star').span.text.strip()
movie['quote'] = item.find('span', class_='inq').text.strip()
movies.append(movie)
for movie in movies:
print(movie)
```
该代码会输出豆瓣电影TOP250的排名、电影名称、评分和简介。你也可以将电影信息存储到文件中或者使用其他方式展示。不过需要注意的是,爬取网站数据时需要尊重网站的规则,不要过于频繁地请求,也不要将爬取到的数据用于商业用途。
阅读全文