selenium爬取微博
时间: 2023-09-08 22:15:56 浏览: 177
你可以使用Selenium来实现爬取微博的功能。以下是一个简单的示例代码,可以帮助你入门:
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
# 初始化webdriver
driver = webdriver.Chrome()
# 打开微博登录页
driver.get('https://weibo.com/login.php')
# 等待页面加载完成
time.sleep(2)
# 输入微博账号和密码
username = driver.find_element_by_name('username')
username.send_keys('your_username')
password = driver.find_element_by_name('password')
password.send_keys('your_password')
# 模拟点击登录按钮
login_button = driver.find_element_by_xpath('//div[@class="info_list login_btn"]/a')
login_button.click()
# 等待登录完成,跳转到个人首页
time.sleep(5)
# 在搜索框中输入关键词,例如“Python”
search_input = driver.find_element_by_xpath('//input[@class="W_input"]')
search_input.send_keys('Python')
search_input.send_keys(Keys.ENTER)
# 模拟滚动页面加载更多微博内容
scroll_pause_time = 2
last_height = driver.execute_script('return document.body.scrollHeight')
while True:
driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')
time.sleep(scroll_pause_time)
new_height = driver.execute_script('return document.body.scrollHeight')
if new_height == last_height:
break
last_height = new_height
# 获取微博内容
weibo_elements = driver.find_elements_by_xpath('//div[contains(@class, "WB_detail")]')
for weibo_element in weibo_elements:
print(weibo_element.text)
# 关闭webdriver
driver.quit()
```
请注意,使用Selenium爬取网站数据可能违反网站的使用条款,因此在使用之前请确保你了解并遵守相应的规定。另外,爬取微博数据也可能涉及到一些反爬机制,所以请谨慎操作并遵循相关规则。
阅读全文