请写一个爬取豆瓣排行榜的爬虫,要求:1.使用BeautifulSoup库,不可以用书上的正则方式 使用pandas保存为csv文件,不可以用书上的csv库
时间: 2024-06-10 08:04:50 浏览: 22
好的,请稍等,我正在编写代码。
以下是使用BeautifulSoup库编写的爬取豆瓣排行榜的爬虫代码,并将结果保存为csv文件:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://movie.douban.com/chart'
# 获取网页内容
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 解析网页内容,获取电影名称和评分
movie_names = []
movie_scores = []
for movie in soup.find_all('div', class_='pl2'):
movie_names.append(movie.a.text.strip())
for score in soup.find_all('span', class_='rating_nums'):
movie_scores.append(score.text.strip())
# 保存为csv文件
data = {
'电影名称': movie_names,
'评分': movie_scores
}
df = pd.DataFrame(data)
df.to_csv('douban_rank.csv', index=False, encoding='utf_8_sig')
print('爬取完成并保存为csv文件!')
```
请注意:由于豆瓣网站的反爬虫机制,可能需要设置一些防爬虫措施才能成功爬取数据。此外,本代码示例仅供参考,请勿用于非法用途。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![txt](https://img-home.csdnimg.cn/images/20210720083642.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![py](https://img-home.csdnimg.cn/images/20210720083646.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![7z](https://img-home.csdnimg.cn/images/20210720083312.png)