进入https://ssr1.scrape.center/page/8/后 进入后获取的信息表 电影中文名 电影首映地点 电影首映日期 评分 类型 以csv文件保存。
时间: 2023-08-01 14:10:07 浏览: 168
好的,我可以帮你解决这个问题。
首先,我们需要安装一些必要的库来处理网页和文件,你可以在命令行中使用以下命令来安装它们:
```
pip install requests beautifulsoup4 pandas
```
然后,我们可以使用以下 Python 代码来爬取数据并保存为 CSV 文件:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://ssr1.scrape.center/page/8/'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
data = []
for item in soup.select('.el-card__body'):
title = item.select_one('.movie-card-title').text.strip()
location = item.select_one('.movie-card-location').text.strip()
date = item.select_one('.movie-card-date').text.strip()
score = item.select_one('.movie-card-score').text.strip()
category = item.select_one('.movie-card-category').text.strip()
data.append((title, location, date, score, category))
df = pd.DataFrame(data, columns=['电影中文名', '电影首映地点', '电影首映日期', '评分', '类型'])
df.to_csv('movies.csv', index=False)
```
这段代码首先发送请求获取网页内容,然后使用 Beautiful Soup 解析 HTML,找到每个电影信息的元素,提取需要的数据并保存到一个列表中。
最后,我们可以使用 Pandas 将数据转换为 DataFrame,并使用 to_csv() 方法将其保存为 CSV 文件。
请注意,这段代码中的 User-Agent 头部是必要的,因为我们需要伪装成浏览器发送请求,否则网站可能会拒绝我们的请求。如果你在实际使用中遇到了问题,可以尝试更改 User-Agent 头部或使用代理。
阅读全文