用Python帮我爬取豆瓣电影top 250
时间: 2023-06-27 08:07:56 浏览: 175
好的,以下是Python代码。需要安装requests和BeautifulSoup4库。
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
movie_list = []
for i in range(0, 250, 25):
url_page = url + '?start=' + str(i) + '&filter='
response = requests.get(url_page, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
movie_items = soup.find_all('div', class_='hd')
for movie in movie_items:
title = movie.a.span.text
link = movie.a['href']
movie_list.append({'title': title, 'link': link})
for movie in movie_list:
print(movie['title'] + ' : ' + movie['link'])
```
这段代码将会从豆瓣电影top 250页面中爬取电影的名称和链接,并将它们存储在一个列表中。你可以根据自己的需求对这些信息进行处理。
注意:爬取网站信息需要遵守相关法律法规,不得用于非法用途。
阅读全文