请给我一个python爬取taptap上英雄联盟手游评论的代码
时间: 2024-03-31 13:32:45 浏览: 76
好的,以下是一个简单的Python代码示例,可以爬取Taptap上英雄联盟手游的评论:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 目标页面url
url = 'https://www.taptap.com/app/166052/review?order=default&page=1#review-list'
# 发送http请求
response = requests.get(url, headers=headers)
# 解析html页面
soup = BeautifulSoup(response.text, 'html.parser')
# 找到评论的标签
comments = soup.find_all('div', {'class': 'taptap-review-item-text'})
# 遍历所有评论并输出
for comment in comments:
print(comment.text.strip())
```
需要注意的是,该代码仅适用于爬取第一页的评论,如果需要爬取更多的评论,需要修改url中的page参数。另外,爬取网站的数据需要注意法律法规和网站的使用条款,不要违反相关规定。
阅读全文