请写一段代码爬取异步网页https://sthjt.ah.gov.cn/site/tpl/5391?cityCode=340100的数据并写入excel
时间: 2023-12-20 07:04:18 浏览: 189
以下是使用Python的爬虫代码,使用了selenium和pandas库,可以爬取异步网页的数据并写入Excel。
```python
from selenium import webdriver
import pandas as pd
# 设置webdriver路径
driver_path = 'chromedriver.exe'
# 创建webdriver实例
driver = webdriver.Chrome(executable_path=driver_path)
# 打开网页
driver.get('https://sthjt.ah.gov.cn/site/tpl/5391?cityCode=340100')
# 等待页面加载完成
driver.implicitly_wait(10)
# 点击“查询”按钮
driver.find_element_by_id('queryBtn').click()
# 等待查询结果加载完成
driver.implicitly_wait(10)
# 获取表格数据
table = driver.find_element_by_xpath("//table[@class='table table-bordered']")
# 转换为dataframe格式
df = pd.read_html(table.get_attribute('outerHTML'))[0]
# 写入excel
df.to_excel('data.xlsx', index=False)
# 关闭webdriver
driver.quit()
```
需要注意的是,需要在代码中设置webdriver的路径,以及安装selenium和pandas库。
阅读全文