python猫眼电影爬虫
时间: 2024-04-17 07:21:20 浏览: 24
Python猫眼电影爬虫是一种使用Python编程语言编写的程序,用于从猫眼电影网站上获取电影相关信息的工具。通过爬虫技术,可以自动化地从网页上提取电影的名称、评分、上映时间、演员等信息,并将其保存到本地或进行进一步的数据分析。
要实现Python猫眼电影爬虫,可以使用Python的第三方库,如requests、BeautifulSoup和pandas等。以下是一个简单的示例代码,用于爬取猫眼电影网站上正在热映的电影信息:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
def get_movie_info():
url = 'https://maoyan.com/films?showType=3'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
movie_list = []
for movie in soup.find_all('div', class_='movie-item-hover'):
name = movie.find('span', class_='name').text
score = movie.find('span', class_='score').text
release_time = movie.find('div', class_='movie-hover-title').find_all('span').text.strip()
actors = [actor.text for actor in movie.find('div', class_='movie-hover-title').find_all('span').find_all('a')]
movie_info = {
'电影名称': name,
'评分': score,
'上映时间': release_time,
'演员': actors
}
movie_list.append(movie_info)
df = pd.DataFrame(movie_list)
df.to_csv('movie_info.csv', index=False, encoding='utf-8-sig')
print('电影信息已保存到movie_info.csv文件中')
get_movie_info()
```
以上代码使用requests库发送HTTP请求获取网页内容,使用BeautifulSoup库解析网页内容,然后提取电影信息并保存到CSV文件中。你可以根据自己的需求对代码进行修改和扩展。