微博爬虫代码
时间: 2023-07-03 21:04:52 浏览: 94
以下是一个基于Python的微博爬虫代码示例,使用了Selenium和BeautifulSoup库:
```python
from selenium import webdriver
from bs4 import BeautifulSoup
import time
# 设置用户名和密码
username = 'your_username'
password = 'your_password'
# 设置Chrome浏览器的路径
chrome_path = 'path_to_chrome_driver'
# 启动浏览器
browser = webdriver.Chrome(chrome_path)
# 打开微博登录页面
browser.get('https://passport.weibo.cn/signin/login')
# 输入用户名和密码
time.sleep(2)
browser.find_element_by_id('loginName').send_keys(username)
browser.find_element_by_id('loginPassword').send_keys(password)
# 点击登录按钮
time.sleep(1)
browser.find_element_by_id('loginAction').click()
# 等待登录成功并跳转到首页
time.sleep(10)
# 进入微博首页
browser.get('https://weibo.com')
# 等待页面加载完成
time.sleep(10)
# 解析页面内容
soup = BeautifulSoup(browser.page_source, 'html.parser')
weibo_list = soup.find_all('div', class_='WB_detail')
# 遍历微博列表
for weibo in weibo_list:
# 获取微博内容
content = weibo.find('div', class_='WB_text W_f14').text.strip()
print(content)
# 关闭浏览器
browser.quit()
```
注意:使用爬虫需要遵守法律法规和网站的相关规定,不得侵犯他人的隐私和权益。
阅读全文