微博爬取关注用户的信息以及他的关注情况代码
时间: 2023-10-04 10:03:06 浏览: 65
微博数据抓取代码
以下是一个基于Python和BeautifulSoup模块的微博爬虫示例代码,可以爬取关注用户的信息以及他的关注情况。
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器发送请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 设置需要爬取的微博用户的主页地址
url = 'https://weibo.com/u/123456789'
# 发送请求获取网页内容
response = requests.get(url, headers=headers)
html = response.text
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 获取关注用户的信息
follows = soup.find_all('a', {'class': 'S_txt1', 'target': '_blank', 'node-type': 'follow_link'})
for follow in follows:
# 获取用户昵称
name = follow.get('title')
# 获取用户主页地址
user_url = follow.get('href')
# 获取用户关注状态
is_followed = follow.find('i', {'class': 'W_icon icon_add'}).get('title') == '已关注'
print(name, user_url, is_followed)
```
注意:该示例代码仅供学习和研究使用,请勿用于未经授权的商业用途。在实际使用中,需要注意遵守相关法律法规和网站的使用规定,以免侵犯他人的权益或触犯法律。
阅读全文