Selenium 天眼查
时间: 2024-02-10 08:08:53 浏览: 51
Selenium是一个用于自动化浏览器操作的工具,可以模拟用户在浏览器中的行为,例如点击、输入、提交表单等。天眼查是一个提供企业信息查询的网站,有时候会有反爬虫机制,需要使用Selenium来解决。
以下是使用Selenium进行天眼查爬取的示例代码:
```python
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 创建浏览器实例
driver = webdriver.Chrome()
# 打开天眼查网站
driver.get("https://www.tianyancha.com/")
# 等待页面加载完成
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.ID, "home-main-search")))
# 输入搜索关键字
search_input = driver.find_element(By.ID, "home-main-search")
search_input.send_keys("公司名称")
# 点击搜索按钮
search_button = driver.find_element(By.CLASS_NAME, "search-button")
search_button.click()
# 等待搜索结果加载完成
wait.until(EC.presence_of_element_located((By.CLASS_NAME, "search-result-single")))
# 获取搜索结果
search_results = driver.find_elements(By.CLASS_NAME, "search-result-single")
for result in search_results:
print(result.text)
# 关闭浏览器
driver.quit()
```
这段代码使用了Selenium的Chrome驱动来打开天眼查网站,并进行搜索操作。通过等待页面元素加载完成,然后找到相应的元素进行操作,最后获取搜索结果并输出。