帮我用python写一个爬取这个页面的产品信息http://www.xinfadi.com.cn/priceDetail.html
时间: 2024-02-19 08:00:31 浏览: 133
这个网站是动态加载数据的,所以我们需要使用 Selenium 模块来模拟浏览器操作,才能获取到完整的数据。下面是一个简单的爬取示例代码,可以获取到每个产品的名称和价格:
```python
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 设置 Chrome 浏览器无界面模式
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
# 创建 Chrome 浏览器对象
driver = webdriver.Chrome(options=options)
# 打开网页
url = 'http://www.xinfadi.com.cn/priceDetail.html'
driver.get(url)
# 等待数据加载完成
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.ID, 'vegtable')))
# 获取每个产品的名称和价格
table = driver.find_element_by_id('vegtable')
rows = table.find_elements_by_tag_name('tr')
for row in rows[1:]:
cols = row.find_elements_by_tag_name('td')
name = cols[0].text
price = cols[1].text
print(name, price)
# 关闭浏览器
driver.quit()
```
需要注意的是,这个网站可能会有反爬措施,请勿频繁访问,以免被封 IP。
阅读全文