爬取猫眼经典电影数据(名称、url、评分、id),生成csv文件
时间: 2023-12-22 13:03:49 浏览: 215
猫眼电影&经典电影爬取
好的,我可以为你提供Python代码来完成这个任务。首先需要安装requests和BeautifulSoup4库,你可以在终端中使用以下命令进行安装:
```
pip install requests
pip install beautifulsoup4
```
然后,可以使用以下代码来爬取猫眼经典电影数据并生成csv文件:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 猫眼经典电影页面url
url = 'https://maoyan.com/films?showType=3'
# 发送请求,获取页面内容
response = requests.get(url, headers=headers)
html = response.text
# 使用BeautifulSoup解析页面内容
soup = BeautifulSoup(html, 'html.parser')
# 获取电影列表
movie_list = soup.find_all('div', {'class': 'movie-item film-channel'})
# 打开csv文件,写入表头
with open('maoyan_movies.csv', 'w', encoding='utf-8', newline='') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['电影名称', '电影链接', '电影评分', '电影ID'])
# 遍历电影列表,获取电影信息并写入csv文件
for movie in movie_list:
# 获取电影名称、链接、评分和ID
name = movie.find('span', {'class': 'name'}).text
link = 'https://maoyan.com' + movie.find('a')['href']
score = movie.find('span', {'class': 'score'}).text
movie_id = movie['data-val'].split(',')[0].replace('\"', '')
# 写入csv文件
writer.writerow([name, link, score, movie_id])
print('爬取完成!')
```
以上代码会将爬取到的数据写入名为`maoyan_movies.csv`的csv文件中。你可以根据自己的需求修改文件名和路径。
阅读全文