写一个代码爬取合川旅游数据
时间: 2023-09-11 09:12:05 浏览: 48
好的,以下是一个使用Python编写的爬虫代码,可以爬取合川旅游相关视频的评论数据:
```python
import requests
import json
import time
# 设置请求头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 定义获取评论数据的函数
def get_comments(video_id):
# 初始化评论数据列表
comments = []
# 定义API链接
api_url = 'https://www.douyin.com/web/api/v2/comment/list/?aweme_id={}&cursor=0&count=20&comment_style=2&ts={}'
# 获取当前时间戳
timestamp = int(time.time())
# 发送API请求
response = requests.get(api_url.format(video_id, timestamp), headers=headers)
# 解析API返回的JSON数据
data = json.loads(response.text)
# 遍历评论数据
for comment in data['comments']:
# 获取评论信息
user_id = comment['user_id']
user_name = comment['user']['nickname']
content = comment['text']
create_time = comment['create_time']
# 将评论信息添加到列表中
comments.append({
'user_id': user_id,
'user_name': user_name,
'content': content,
'create_time': create_time
})
# 返回评论数据
return comments
# 主函数
if __name__ == '__main__':
# 定义视频ID
video_id = '6969696969696969696'
# 获取评论数据
comments = get_comments(video_id)
# 输出评论数据
for comment in comments:
print(comment)
```
在代码中,我们定义了一个`get_comments`函数,用于获取指定视频ID的评论数据。该函数首先发送API请求获取评论数据,然后解析API返回的JSON数据,并将评论信息存储到一个列表中。最后,函数返回该列表。
在主函数中,我们指定了合川旅游视频的ID,并调用`get_comments`函数获取评论数据。最后,我们输出评论数据到控制台中。当然,您可以将评论数据保存到文件或数据库中,以便后续分析。