写一个python爬虫程序,爬取https://www.gddat.cn/newGlobalWeb/#/searchResult的数据
时间: 2023-10-31 21:54:00 浏览: 166
由于该网站使用了前端渲染,因此需要使用Selenium来模拟浏览器操作。以下是一个简单的Python爬虫程序:
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# 设置浏览器选项
options = webdriver.ChromeOptions()
options.add_argument('--headless') # 隐藏浏览器窗口
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
# 启动浏览器
driver = webdriver.Chrome(options=options)
# 访问网站
driver.get('https://www.gddat.cn/newGlobalWeb/#/searchResult')
# 等待页面加载完成
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.ant-input-search')))
# 输入查询条件
search_input = driver.find_element_by_css_selector('.ant-input-search')
search_input.send_keys('电动汽车')
search_input.send_keys(Keys.RETURN)
# 等待查询结果加载完成
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.ant-table-row')))
# 获取查询结果
rows = driver.find_elements_by_css_selector('.ant-table-row')
for row in rows:
print(row.text)
# 关闭浏览器
driver.quit()
```
该程序使用Chrome浏览器,需要安装Selenium和ChromeDriver。在Windows系统下,可以按照以下步骤安装:
1. 安装Python
2. 安装Selenium:`pip install selenium`
3. 下载并解压ChromeDriver:https://sites.google.com/a/chromium.org/chromedriver/downloads
4. 将ChromeDriver所在目录添加到系统环境变量中
运行程序,即可看到查询结果。
阅读全文