python爬虫淘宝商品信息
时间: 2023-11-21 15:04:27 浏览: 162
python爬虫爬取淘宝商品信息
可以使用selenium和pyquery来爬取淘宝商品信息。通过selenium模拟浏览器操作,获取页面源代码,再使用pyquery解析页面,提取需要的商品信息。具体可以参考以下代码:
```python
from selenium import webdriver
from pyquery import PyQuery as pq
browser = webdriver.Chrome() #使用Chrome浏览器
browser.get('https://www.taobao.com/') #打开淘宝首页
def search(keyword):
input = browser.find_element_by_name('q') #找到搜索框
input.send_keys(keyword) #输入搜索关键词
button = browser.find_element_by_class_name('btn-search') #找到搜索按钮
button.click() #点击搜索按钮
def item_info():
html = browser.page_source #获取html
doc = pq(html) #解析html
items = doc('#mainsrp-itemlist .item').items() #获取商品列表
for item in items:
items_info = {
'name': item.find('.row-2').text(), #商品名称
'price': item.find('.price>strong').text(), #商品价格
'deal-cnt' : item.find('.deal-cnt').text(), #成交量
'shop_name': item.find('.row-3 a').text(), #店铺名称
'location' : item.find('.row-3 .location').text(), #店铺所在地
}
result_save(items_info) #存储商品信息
search('手机') #搜索关键词为手机的商品
item_info() #获取商品信息
```
阅读全文