python爬取微博用户关注列表_GitHub - dataabc/weibo-follow: 爬取关注列表中微博账号的微博...
时间: 2023-09-24 22:04:16 浏览: 352
这是一个用Python爬取微博用户关注列表的项目,GitHub链接为:https://github.com/dataabc/weibo-follow。
该项目基于Python 3.6及以上版本,并使用了Selenium、ChromeDriver和BeautifulSoup库。具体实现过程如下:
1. 安装Chrome浏览器和ChromeDriver,并将ChromeDriver加入系统环境变量中。
2. 安装Selenium和BeautifulSoup库:
```
pip install selenium
pip install beautifulsoup4
```
3. 运行`weibo_login.py`文件,输入微博账号和密码进行登录。
4. 运行`weibo_follow.py`文件,输入要爬取的目标用户ID,程序会自动跳转到该用户的关注列表页面,并爬取其中的微博账号和主页链接。
5. 将爬取到的数据保存到本地文件中。
需要注意的是,爬取微博数据涉及到一些法律、道德和隐私等问题,需要遵守相关规定和道德准则,不得用于非法用途。
阅读全文