写一个基于selenium的百度首页热点爬虫
时间: 2024-03-14 17:49:39 浏览: 90
基于selenium的网络爬虫
好的,以下是一个基于Selenium的百度首页热点爬虫代码示例:
```python
from selenium import webdriver
# 设置Chromedriver的路径
driver_path = '/path/to/chromedriver'
# 创建一个Chrome浏览器实例
browser = webdriver.Chrome(executable_path=driver_path)
# 访问百度首页
browser.get('https://www.baidu.com/')
# 找到热点标签页并点击
hotspot_tab = browser.find_element_by_xpath('//*[@id="s-top-left"]/a[1]')
hotspot_tab.click()
# 等待热点页面加载完成
browser.implicitly_wait(10)
# 找到热点新闻列表
hotspot_list = browser.find_elements_by_xpath('//*[@id="hotsearch-content-wrapper"]/li')
# 遍历热点新闻列表,并打印每一条新闻的标题
for hotspot in hotspot_list:
title = hotspot.find_element_by_xpath('.//span[@class="title-content-title"]')
print(title.text)
# 关闭浏览器
browser.quit()
```
这段代码使用了Selenium的Python库,打开了一个Chrome浏览器实例并访问了百度首页。然后,它找到了热点标签页并点击,等待热点页面加载完成后,它找到了热点新闻列表。接着,它遍历了热点新闻列表,并打印了每一条新闻的标题。最后,它关闭了浏览器。
阅读全文