利用爬虫爬取https://data.eastmoney.com/ifdata/kcsj.html中金属铜的库存数据
时间: 2023-12-20 20:03:25 浏览: 147
由于该网站是动态生成的,因此需要使用Selenium和BeautifulSoup库来模拟浏览器行为获取数据。
以下是Python代码:
```Python
from selenium import webdriver
from bs4 import BeautifulSoup
# 设置Chrome浏览器的驱动路径
driver_path = "chromedriver.exe"
# 创建浏览器对象
driver = webdriver.Chrome(executable_path=driver_path)
# 访问目标网址
url = "https://data.eastmoney.com/ifdata/kcsj.html"
driver.get(url)
# 等待页面加载完成
driver.implicitly_wait(10)
# 点击下拉框,选择铜
driver.find_element_by_class_name("select").click()
driver.find_element_by_link_text("铜").click()
# 获取页面源代码
html = driver.page_source
# 解析页面源代码,获取库存数据
soup = BeautifulSoup(html, "html.parser")
table = soup.find("table", attrs={"class": "tab1"})
rows = table.find_all("tr")[1:]
for row in rows:
data = row.find_all("td")
date = data[0].text
inventory = data[1].text
print(date, inventory)
# 关闭浏览器
driver.quit()
```
运行代码后,会输出铜的库存数据,格式为日期和库存量。
阅读全文
相关推荐
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)