python爬取一个人的微博内容
时间: 2023-07-04 15:05:42 浏览: 140
新浪微博用户数据爬取(Python实现)
首先,你需要准备好以下工具和库:
1. Python 3.x
2. requests 库
3. BeautifulSoup 库
4. Chrome 浏览器或者其他支持F12调试的浏览器
接下来,按照以下步骤进行操作:
1. 打开Chrome浏览器,登录目标微博账号。
2. 按下F12键,打开开发者工具,切换到Network选项卡。
3. 在微博页面上翻到底部,加载出所有的微博内容。
4. 在开发者工具中刷新页面,找到名为 “ajax”的请求,复制其对应的Request URL。
5. 使用requests库发送GET请求,将返回的内容传递给BeautifulSoup库进行解析,即可获取到微博内容。
下面是一个示例代码,以获取用户“远方的星星”(https://weibo.com/u/2703275935)的微博内容为例:
```python
import requests
from bs4 import BeautifulSoup
# 目标微博账号的个人主页链接
url = "https://weibo.com/u/2703275935"
# 请求头信息
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
# 发送GET请求
response = requests.get(url, headers=headers)
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 微博内容所在的标签
weibo_tag = soup.find_all("div", class_="WB_text W_f14")
# 输出微博内容
for weibo in weibo_tag:
print(weibo.text.strip())
```
注意,此代码仅供学习和研究使用,请勿用于非法用途。
阅读全文