采用python动态抓取技术,打开edge浏览器抓取京东网站"电脑"的名称\价格\店铺,并写入csv文件中
时间: 2023-10-09 08:14:12 浏览: 72
好的,需要先安装Selenium和pandas库。可以通过以下命令安装:
```
pip install selenium pandas
```
下面是代码实现:
```python
from selenium import webdriver
import pandas as pd
import time
# 打开 Edge 浏览器
driver = webdriver.Edge()
# 打开京东首页并搜索电脑
driver.get('https://www.jd.com/')
search_box = driver.find_element_by_id('key')
search_box.send_keys('电脑')
search_box.submit()
# 等待页面加载完毕
time.sleep(5)
# 获取所有商品信息
items = driver.find_elements_by_css_selector('.gl-item')
# 存储商品信息的列表
data = []
# 遍历所有商品
for item in items:
# 获取商品名称、价格、店铺名称
name = item.find_element_by_css_selector('.p-name em').text
price = item.find_element_by_css_selector('.p-price i').text
shop = item.find_element_by_css_selector('.p-shop a').text
# 将商品信息添加到列表中
data.append({'名称': name, '价格': price, '店铺': shop})
# 将数据保存到 CSV 文件
df = pd.DataFrame(data)
df.to_csv('电脑.csv', index=False)
# 关闭浏览器
driver.quit()
```
执行完毕后,会在当前目录下生成一个名为“电脑.csv”的文件,其中包含所有商品的名称、价格和店铺信息。
阅读全文