爬取网页https://www.dianping.com/member/2509937719/reviews?pg=1中的评分数据
时间: 2023-06-25 16:01:09 浏览: 198
好的,这个问题我可以回答。
首先,需要安装两个Python库:requests和beautifulsoup4。可以使用以下命令进行安装:
```
pip install requests beautifulsoup4
```
然后,可以使用以下代码爬取大众点评用户的评分数据:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 大众点评用户的URL,需要替换为要爬取的用户URL
url = 'https://www.dianping.com/member/2509937719/reviews?pg=1'
# 发起请求
r = requests.get(url, headers=headers)
# 解析HTML内容
soup = BeautifulSoup(r.content, 'html.parser')
# 获取所有评分的HTML元素
scores = soup.find_all('span', {'class': 'sml-rank-stars'})
# 保存评分数据到Excel文档中
df = pd.DataFrame(columns=['评分'])
for score in scores:
df = df.append({'评分': score['class'][1][7]}, ignore_index=True)
df.to_excel('scores.xlsx', index=False)
```
需要注意的是,需要将代码中的`url`替换为要爬取的用户URL。另外,代码中保存评分数据到Excel文档中需要用到pandas库,如果没有安装可以使用以下命令进行安装:
```
pip install pandas
```
希望能够帮到你!
阅读全文