创建requests请求中的headers,同时找到热搜榜单的urlurl= 'https://s.weibo.com/top/summary?cate=realtimehot'
时间: 2024-10-16 17:14:05 浏览: 32
TAIEX数据:可从https://www.twse.com.tw获取Json原始数据
在使用`requests`库进行网络请求时,除了URL之外,我们通常会设置`headers`来模拟浏览器的行为,以便访问网页并获取内容。比如,为了获取微博热搜榜的数据,我们可以构造一个`get`请求,将URL设置为`https://s.weibo.com/top/summary?cate=realtimehot`,并将合适的`headers`添加到请求中。以下是一个示例:
```python
import requests
# 设置基本的headers
default_headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.0.0 Safari/537.36',
'Accept': 'application/json, text/plain, */*',
'Connection': 'keep-alive',
'Referer': 'https://s.weibo.com/'
}
# 微博热搜榜单的URL
url = 'https://s.weibo.com/top/summary?cate=realtimehot'
# 发送GET请求,带上默认headers
response = requests.get(url, headers=default_headers)
# 检查请求是否成功(状态码为2xx)
if response.status_code == 200:
data = response.json() # 将响应转化为JSON格式
print("热榜数据:", data)
else:
print(f"请求失败,状态码:{response.status_code}")
阅读全文