python 爬虫 淘宝
时间: 2024-05-04 17:14:43 浏览: 121
Python是一种非常流行的编程语言,其拥有丰富的第三方库和工具,可以用于爬取网页数据。淘宝作为中国最大的电商平台之一,也是许多人关注的对象。使用Python编写爬虫程序可以方便地爬取淘宝上的商品信息。
以下是一个简单的爬取淘宝商品信息的示例代码:
```
import requests
import json
def get_taobao_items(keyword):
url = 'https://s.taobao.com/search?q=' + keyword
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
resp = requests.get(url, headers=headers)
if resp.status_code == 200:
data = json.loads(resp.text)
items = []
for item in data['mods']['itemlist']['data']['auctions']:
items.append({
'title': item['raw_title'],
'price': item['view_price'],
'location': item['item_loc'],
'sales': item['view_sales'],
'url': item['detail_url']
})
return items
keyword = 'ipad'
items = get_taobao_items(keyword)
for item in items:
print(item)
```
上述代码中,我们使用requests库发送GET请求获取淘宝搜索结果页面的HTML代码,然后使用json解析出其中的商品信息。最终将商品信息存储在列表中并打印出来。
阅读全文