python爬虫获取淘宝数据
时间: 2024-01-05 08:11:28 浏览: 154
你可以使用 Python 的爬虫工具(如 requests、BeautifulSoup 或 Scrapy)来获取淘宝的数据。以下是一个简单示例,演示如何使用 requests 和 BeautifulSoup 来爬取淘宝的商品数据:
```python
import requests
from bs4 import BeautifulSoup
def get_taobao_data(keyword):
url = f'https://s.taobao.com/search?q={keyword}'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.select('.JIIxO .jNTtxu')
for item in items:
title = item.select_one('.TPL3i8 a').text.strip()
price = item.select_one('.eYZfDl strong').text.strip()
print(f'Title: {title}, Price: {price}')
else:
print('Failed to retrieve data from Taobao.')
# 指定关键词进行搜索
get_taobao_data('手机')
```
这个示例代码会根据指定的关键词在淘宝上进行搜索,并打印出商品的标题和价格。请注意,爬取网站数据涉及到相关法律法规,请确保你在合法、合规的范围内使用爬虫技术。
阅读全文