selenium 采集网页数据代码
时间: 2023-11-24 10:44:37 浏览: 143
数据采集后的前端展示.zip
以下是用Python和Selenium采集网页数据的示例代码:
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
# 初始化浏览器
driver = webdriver.Chrome()
# 打开目标网页
driver.get("http://www.example.com")
# 获取网页标题
title = driver.title
print("网页标题是:" + title)
# 获取网页源代码
html = driver.page_source
print("网页源代码是:" + html)
# 查找页面元素并交互
elem = driver.find_element_by_name("q")
elem.clear()
elem.send_keys("selenium")
elem.send_keys(Keys.RETURN)
# 关闭浏览器
driver.quit()
```
此代码将打开Chrome浏览器并访问http://www.example.com。然后,它将获取该网页的标题和源代码,并在搜索框中输入"selenium"并提交搜索。最后,它将关闭浏览器。您可以根据自己的需要修改代码以采集所需的数据。
阅读全文