python代码,Selenium自动点击标题爬取详细内容,并自动翻页,直接写代码
时间: 2023-12-19 19:07:55 浏览: 77
好的,以下是使用Selenium自动点击标题爬取详细内容并翻页的Python代码:
```python
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 设置浏览器驱动路径
driver_path = "C:\chromedriver_win32\chromedriver.exe"
# 创建浏览器对象
driver = webdriver.Chrome(executable_path=driver_path)
# 打开网页
driver.get("http://www.example.com")
# 等待页面加载完成
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.ID, "content")))
# 获取所有标题元素
title_elements = driver.find_elements_by_xpath("//h2/a")
# 遍历标题元素并依次点击
for title_element in title_elements:
# 获取标题文本和链接
title_text = title_element.text
title_link = title_element.get_attribute("href")
# 点击标题
title_element.click()
# 切换到新窗口
driver.switch_to.window(driver.window_handles[-1])
# 获取详细内容
content_element = driver.find_element_by_id("content")
content_text = content_element.text
# 处理详细内容
# 关闭窗口
driver.close()
# 切换回原窗口
driver.switch_to.window(driver.window_handles[0])
# 翻页
next_page_element = driver.find_element_by_xpath("//a[@class='next']")
next_page_element.click()
# 关闭浏览器
driver.quit()
```
这个代码使用了Selenium中的WebDriverWait等待页面加载完成,然后通过XPath定位标题元素并依次点击,切换到新窗口获取详细内容,处理完毕后关闭窗口并切换回原窗口,最后通过XPath定位翻页元素并点击实现自动翻页。
阅读全文