url = 'https://weibo.com/ajax/statuses/searchProfile'爬取微博python
时间: 2023-08-10 12:04:48 浏览: 207
新浪微博用户数据爬取(Python实现)
要爬取微博,可以使用 Python 中的请求库(如 requests)和解析库(如 BeautifulSoup)来发送 HTTP 请求并解析返回的数据。
下面是一个示例代码,用于爬取微博的搜索结果页面:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://weibo.com/ajax/statuses/searchProfile'
# 构造请求参数
params = {
'keyword': '关键词', # 要搜索的关键词
'page': 1, # 要获取的页数
}
# 发送 GET 请求
response = requests.get(url, params=params)
# 解析响应数据
soup = BeautifulSoup(response.text, 'html.parser')
# 处理解析后的数据
# 可以使用 BeautifulSoup 提供的方法来提取需要的信息
# 示例:提取搜索结果列表中的用户名和用户ID
results = soup.select('.person_list .person_name')
for result in results:
username = result.text.strip()
user_id = result['usercard'][3:]
print(f'用户名:{username},用户ID:{user_id}')
```
在上述代码中,首先构造了请求参数,包括关键词和页数。然后使用 requests 库发送 GET 请求,并通过 BeautifulSoup 解析响应数据。
根据实际情况,可以使用 BeautifulSoup 提供的方法来提取需要的信息。示例代码中使用了 CSS 选择器来选择搜索结果列表中的用户名和用户ID,并打印出来。你可以根据自己的需求修改和扩展这部分代码。
需要注意的是,微博的页面结构可能会发生变化,所以在编写爬取代码时需要根据实际情况进行调整和适配。另外,爬取网站的数据时,需要遵守网站的使用规则和法律法规,不要进行非法的爬取行为。
阅读全文