python爬取豆瓣电影的详细信息
时间: 2023-09-14 08:12:01 浏览: 90
python豆瓣电影的爬取
5星 · 资源好评率100%
为了爬取豆瓣电影的详细信息,我们可以使用Python和BeautifulSoup库。以下是示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
movies = soup.find_all('div', class_='info')
for movie in movies:
title = movie.find('span', class_='title').text
rating = movie.find('span', class_='rating_num').text
director = movie.find('p', class_='').text
print(title, rating, director)
```
在这个示例中,我们首先使用requests库获取豆瓣电影的网页源代码。然后使用BeautifulSoup对源代码进行解析,并使用find_all方法查找所有电影的信息。最后,我们使用find方法获取电影的标题、评分和导演,并将其打印出来。
请注意,为了避免被网站封锁,我们设置了一个User-Agent头。如果你的代码被封锁了,可以尝试更改User-Agent或添加一些延迟,以避免被封锁。
阅读全文