使用requests爬取微博的步骤
时间: 2023-10-24 11:41:14 浏览: 99
使用requests库爬取微博的步骤如下:
1. 打开浏览器,登录微博账号。
2. 打开F12开发者工具,选择Network选项卡,刷新页面,找到Ajax请求。
3. 找到请求的URL,以及请求使用的方法(GET或POST)。
4. 分析请求所需的参数,如需要登录状态的cookie等。
5. 使用requests库发送请求,获取响应内容。
6. 解析响应内容,获取所需的数据。
以下是一个简单的示例代码,可以爬取微博的热门话题:
```python
import requests
# 设置请求头部信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
'Referer': 'https://weibo.com/',
}
# 设置请求参数
params = {
'containerid': '1008083d8a914f51f8b3bf9e7c7c3a8e6d1e5f_-_sort_time',
'page_type': 'searchall'
}
# 发送请求,获取响应内容
response = requests.get('https://m.weibo.cn/api/container/getIndex?', params=params, headers=headers)
# 解析响应内容,获取所需的数据
data = response.json()
statuses = data['data']['cards'][0]['card_group']
for status in statuses:
print(status['mblog']['text'])
```
请注意,爬取微博数据可能会违反微博的用户协议,因此请谨慎使用。
阅读全文