获取马蜂窝景点评论数据
时间: 2024-01-05 09:13:48 浏览: 238
要获取马蜂窝景点评论数据,可以按照以下步骤进行:
1. 打开马蜂窝网站,搜索你想要获取评论数据的景点,并进入该景点的页面。
2. 在该景点页面下方,会显示该景点的评论区,点击“更多”按钮,进入该景点的所有评论页面。
3. 在该页面下方,可以看到“热门排序”、“最新排序”等选项,选择“最新排序”。
4. 使用浏览器的开发者工具(一般按F12键可以打开)选择“Network”选项卡,然后刷新页面。
5. 在开发者工具中,可以看到很多请求信息,找到名为“poiCommentList”的请求,点击它。
6. 在“Headers”选项卡中可以看到该请求的“Request URL”,复制该URL。
7. 打开Python编程环境,使用requests库发送GET请求,将复制的URL作为请求参数,获取该景点的评论数据。
以下是一个示例代码,可以获取马蜂窝某景点最新的200条评论数据:
```python
import requests
import json
url = "https://pagelet.mafengwo.cn/poi/pagelet/poiCommentListApi"
params = {
"params": json.dumps({
"poi_id": "景点ID",
"page": 1,
"just_comment": 1,
"rank": "latest",
"with_reply": "true"
})
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299",
"Referer": "https://www.mafengwo.cn/poi/景点ID.html"
}
response = requests.get(url, params=params, headers=headers)
data = json.loads(response.text)
comments = data["data"]["html"]
print(comments)
```
需要注意的是,其中的“景点ID”需要替换成你要获取评论数据的景点的ID。此外,如果想获取更多的评论数据,可以调整请求参数中的“page”值,每页最多包含20条评论。
阅读全文