python爬豆瓣电影
时间: 2023-07-27 21:06:45 浏览: 74
好的,以下是简单的 Python 爬取豆瓣电影的代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = "https://movie.douban.com/top250"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")
# 找到所有电影的信息
movies = soup.find_all("div", class_="info")
# 遍历电影信息并提取出电影名称、评分等信息
for movie in movies:
# 电影名称
title = movie.find("span", class_="title").text
# 电影评分
rating = movie.find("span", class_="rating_num").text
# 电影评价人数
rating_num = movie.find("div", class_="star").find_all("span")[3].text
# 电影的一些描述信息
quote = movie.find("span", class_="inq").text
print("电影名称:", title)
print("电影评分:", rating)
print("评价人数:", rating_num)
print("描述信息:", quote)
```
这段代码会爬取豆瓣电影 TOP250 的页面,提取出每一部电影的名称、评分、评价人数、描述信息并打印出来。注意需要加上 User-Agent 头信息,否则豆瓣会返回 418 错误。
阅读全文